自然语言处理之最常用的Linux命令

综述

    我从

        怎么连接Linux服务器

        连接之后的语料的常用文本处理命令

        运行代码时的常用信息查看命令

    这个流程慢慢开讲啦

怎么连接Linux服务器

    一般我们都是在Linux服务器上跑程序,因为跑实验的时间一般很长并且Linux服务器的内存大啊,一般100左右的内存贼正常的,所以很快。而自己用的Mac,Windows,Linux系统基本都是写代码用的。那我们怎么连接Linux服务器呢在实验室里?

    这里比如实验室的服务器局域网IP:138.0.0.1

    你的ID:zrr

Mac Or Linux

    打开你的终端,然后输入

《自然语言处理之最常用的Linux命令》

    然后Enter后输入密码就能进入啦。

    Mac到Linux服务器的文件传送我推荐用的软件是 

《自然语言处理之最常用的Linux命令》 小黄鸭 Cyberduck

Windows

    推荐的连接软件为

《自然语言处理之最常用的Linux命令》 Xshell

    windows和Linux服务器文件传送软件推荐为

《自然语言处理之最常用的Linux命令》 Win:SCP

注:

    知道你的ID,服务器地址就能轻松的通过软件连接上的。(如果没ID赶紧找服务器管理员申请去;没服务器?额。。。用自己的Linux或者Mac就行)

 常用文本处理命令

cat:显示文本的内容

        常用:cat <filename>

        test文件内容为:

《自然语言处理之最常用的Linux命令》 test

        执行命令:

《自然语言处理之最常用的Linux命令》

wc:查看文本行数

        wc <filename>  

        结果为    行数    词数    字节数

《自然语言处理之最常用的Linux命令》

         常用 wc   -l  <filename> 

         查看文本行数

《自然语言处理之最常用的Linux命令》

vi/vim:编辑文本

        vim是vi的升级版本,但是咱们经常用的基本可以把他俩看成一个。

        vim <filename>

        如果文件不存在则创建一个。存在则进入文件,一般用于修改代码和语料内容:

《自然语言处理之最常用的Linux命令》

        Enter:

《自然语言处理之最常用的Linux命令》

        如果你想修改,点击 i ,你就进入编辑模式;如果退出 i 编辑模式,esc即可。但是怎么退出这个回到终端呢?如果你没修改东西或者虽然修改了但是不想修改了,直接退出,为:

        :q    表示直接退出

        :q!    强制退出

        :wq    表示写入内存,再quit,即保存退出。

注:有冒号

    如果想了解跟多vim编辑快捷键的,那就Google吧,很多很多的,用会了,很方便的。

more/less:    从文本的前面/后面显示

        more/less <filename>

    这次得找个大的文件:

《自然语言处理之最常用的Linux命令》

        按down/up键可以继续看。

        退出回到终端:q即可。

    如果只想显示前面或者后面的文本大致看看还在终端状态呢?

head/tail:显示最前/后面的内容

《自然语言处理之最常用的Linux命令》

    依然在终端状态。tail也一样。但是tail有一个常用的:

        tail -f <filename>

        显示不断更新的内容。这个查看程序输出的log最好不过了。

file:    显示文本的编码

        file <filename>

《自然语言处理之最常用的Linux命令》

    有时候用程序读取文件的时候总是出错,很有原因是你的读取方式不对,所以最好来查下file编码。

doc2unix: 将windows的换行/r/n -> /n

    doc2unix <filename>

grep:  用于查找文件里符合条件的字符串

        grep 正则字符串 <filename>

《自然语言处理之最常用的Linux命令》

awk: 按指定分割符列输出

        awk ‘{print 想要输出的列}’ <filename>

        默认是空格或TAB键为分隔符,如果想指定为逗号‘‘,’’:

        awk -F, ‘print 想要的列’ <filename>

        改了下test:

《自然语言处理之最常用的Linux命令》

        执行命令:

《自然语言处理之最常用的Linux命令》

运行代码时的常用信息查看命令

nohup:  后台挂起

        如果运行很长时间的代码,我们一般都会给它放在后台上,命令为:

        nohup command >out.file 2>&1 &

        nohup command >out.file是将command的输出重定向到out.file文件,即输出内容不打印到屏幕上,而是输出到out.file文件中。

        2>&1 是将标准出错重定向到标准输出,这里的标准输出已经重定向到了out.file文件,即将标准出错也输出到out.file文件中。最后一个&, 是让该命令在后台执行。

        试想2>1代表什么,2与>结合代表错误重定向,而1则代表错误重定向到一个文件1,而不代表标准输出;换成2>&1,&与1结合就代表标准输出了,就变成错误重定向到标准输出.

test.sh:

《自然语言处理之最常用的Linux命令》
《自然语言处理之最常用的Linux命令》

    下面是进程的ID。输出到log里:

《自然语言处理之最常用的Linux命令》

top: CPU运行情况

《自然语言处理之最常用的Linux命令》

Enter:

《自然语言处理之最常用的Linux命令》

    查看CPU,进程,内存等。

    退出top按q

kill/pkill: 按ID/name杀进程

    根据top得到你想杀的进程的ID,然后

        kill <ID>

《自然语言处理之最常用的Linux命令》

        你nohup挂起的进程,根据nohup给你的ID也能直接杀掉。

        pkill <name>

《自然语言处理之最常用的Linux命令》

>/>>: 输出到文件

        不存在就创建。

        如果文件存在,则

            > 表示清除文件原有内容,再写入

            >> 表示附加写入

《自然语言处理之最常用的Linux命令》 >
《自然语言处理之最常用的Linux命令》 >>

总结

    这些Linux命令基本够用了。但是上面的命令还有很多的子命令呢,如果你想了解跟多,去这个网站看看吧。

                                                欢迎关注深度学习自然语言处理公众号

《自然语言处理之最常用的Linux命令》

    原文作者:zenRRan
    原文地址: https://www.jianshu.com/p/d81bc3f5afa2
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞