linux命令处理log linux命令详解

Linux下常用文本处理命令

Linux下常用文本处理命令大全

我们提供的服务有：成都网站设计、成都网站制作、微信公众号开发、网站优化、网站认证、托克逊ssl等。为成百上千企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务，是有科学管理、有技术的托克逊网站制作公司

Linux下面有很多经典的非常有用的命令，其中处理文本的命令就有很多。下面就让我们一起看看这些经典的Linux文本处理命令有哪些吧。

一. sort

文件排序, 通常用在管道中当过滤器来使用. 这个命令可以依据指定的关键字或指定的字符位置, 对文件行进行排序. 使用-m选项, 它将会合并预排序的输入文件. 想了解这个命令的全部参数请参考这个命令的info页.

二. tsort

拓扑排序, 读取以空格分隔的有序对, 并且依靠输入模式进行排序.

三. uniq

这个过滤器将会删除一个已排序文件中的重复行. 这个命令经常出现在sort命令的管道后边.

四. expand, unexpand

expand命令将会把每个tab转化为一个空格. 这个命令经常用在管道中.

unexpand命令将会把每个空格转化为一个tab. 效果与expand命令相反.

五. cut

一个从文件中提取特定域的工具. 这个命令与awk中使用的print $N命令很相似, 但是更受限. 在脚本中使用cut命令会比使用awk命令来得容易一些. 最重要的选项就是-d(字段定界符)和-f(域分隔符)选项.

六. paste

将多个文件, 以每个文件一列的形式合并到一个文件中, 合并后文件中的每一列就是原来的一个文件. 与cut结合使用, 经常用于创建系统log文件.

七. join

这个命令与paste命令属于同类命令. 但是它能够完成某些特殊的目地. 这个强力工具能够以一种特殊的形式来合并两个文件, 这种特殊的形式本质上就是一个关联数据库的简单版本.

join命令只能够操作两个文件. 它可以将那些具有特定标记域(通常是一个数字标签)的行合并起来, 并且将结果输出到stdout. 被加入的文件应该事先根据标记域进行排序以便于能够正确的匹配.

八. head

把文件的头部内容打印到stdout上(默认为10行, 可以自己修改). 这个命令有一些比较有趣的选项.

九. tail

将一个文件结尾部分的内容输出到stdout中(默认为10行). 通常用来跟踪一个系统logfile的.修改情况, 如果使用-f选项的话, 这个命令将会继续显示添加到文件中的行.

十. wc

wc可以统计文件或I/O流中的”单词数量”:

十一. fold

将输入按照指定宽度进行折行. 这里有一个非常有用的选项-s, 这个选项可以使用空格进行断行(译者: 事实上只有外文才需要使用空格断行, 中文是不需要的)(请参考例子 12-23和例子 A-1).

十二. fmt

一个简单的文件格式器, 通常用在管道中, 将一个比较长的文本行输出进行”折行”.

十三. col

这个命令用来滤除标准输入的反向换行符号. 这个工具还可以将空白用等价的tab来替换. col工具最主要的应用还是从特定的文本处理工具中过滤输出, 比如groff和tbl. (译者: 主要用来将man页转化为文本.)

十四. column

列格式化工具. 通过在合适的位置插入tab, 这个过滤工具会将列类型的文本转化为”易于打印”的表格式进行输出.

十五. colrm

列删除过滤器. 这个工具将会从文件中删除指定的列(列中的字符串)并且写到文件中, 如果指定的列不存在, 那么就回到stdout. colrm 2 4 filename将会删除filename文件中每行的第2到第4列之间的所有字符. p="" /filename将会删除filename文件中每行的第2到第4列之间的所有字符.

Caution: 如果这个文件包含tab和不可打印字符, 那将会引起不可预期的行为. 在这种情况下, 应该通过管道的手段使用expand和unexpand来预处理colrm.

十六. nl

计算行号过滤器. nl filename将会把filename文件的所有内容都输出到stdout上, 但是会在每个非空行的前面加上连续的行号. 如果没有filename参数, 那么就操作stdin.

nl命令的输出与cat -n非常相似, 然而, 默认情况下nl不会列出空行.

十七. pr

格式化打印过滤器. 这个命令会将文件(或stdout)分页, 将它们分成合适的小块以便于硬拷贝打印或者在屏幕上浏览. 使用这个命令的不同的参数可以完成好多任务, 比如对行和列的操作, 加入行, 设置页边, 计算行号, 添加页眉, 合并文件等等. pr命令集合了许多命令的功能, 比如nl, paste, fold, column, 和expand.

pr -o 5 –width=65 fileZZZ | more 这个命令对fileZZZ进行了比较好的分页, 并且打印到屏幕上. 文件的缩进被设置为5, 总宽度设置为65.

一个非常有用的选项-d, 强制隔行打印(与sed -G效果相同).

十八. gettext

GNU gettext包是专门用来将程序的输出翻译或者本地化为不同国家语言的工具集. 在最开始的时候仅仅支持C语言, 现在已经支持了相当数量的其它程序语言和脚本语言.

想要查看gettext程序如何在shell脚本中使用. 请参考info页.

十九. msgfmt

一个产生二进制消息目录的程序. 这个命令主要用来本地化.

二十. iconv

一个可以将文件转化为不同编码格式(字符集)的工具. 这个命令主要用来本地化.

二十一. recode

可以认为这个命令是上边iconv命令的专业版本. 这个非常灵活的并可以把整个文件都转换为不同编码格式的工具并不是Linux标准安装的一部分.

二十二. TeX, gs

TeX和Postscript都是文本标记语言, 用来对打印和格式化的视频显示进行预拷贝.

TeX是Donald Knuth精心制作的排版系统. 通常情况下, 通过编写脚本的手段来把所有的选项和参数封装起来一起传到标记语言中是一件很方便的事情.

linux如何查看log文件？

日志文件夹的默认存储路径是：/var/log下面是几个重要的日志文件：/var/log/messages：包括整体系统信息，其中也包含系统启动期间的日志。此外，还包括mail，cron，daemon，kern和auth等内容。/var/log/syslog：它和/etc/log/messages日志文件不同，它只记录警告信息，常常是系统出问题的信息。/var/log/user.log：记录所有等级用户信息的日志。/var/log/auth.log：包含系统授权信息，包括用户登录和使用的权限机制等。日志是一种文本文件，因此可以使用查看文本文件的命令来查看日志。cat /var/log/messages 查询日志的全部内容，head -5 /var/log/messages 查询日志的前5行，tail -5 /var/log/messages 查询日志的最新5行，sed -n '5,10p' /var/log/messages 查询日志的5到10行，学习linux命令基础，请关注《linux就该这么学》官网。

基本linux命令

基本linux命令有哪些呢？

1、ls命令

就是 list 的缩写，通过 ls 命令不仅可以查看 linux 文件夹包含的文件，而且可以查看文件权限(包括目录、文件夹、文件权限)查看目录信息等等。

常用参数搭配：

ls -a 列出目录所有文件，包含以.开始的隐藏文件

ls -A 列出除.及..的其它文件

ls -r 反序排列

ls -t 以文件修改时间排序

ls -S 以文件大小排序

ls -h 以易读大小显示

ls -l 除了文件名之外，还将文件的权限、所有者、文件大小等信息详细列出来

实例：

(1) 按易读方式按时间反序排序，并显示文件详细信息

ls -lhrt

(2) 按大小反序显示文件详细信息

ls -lrS

(3)列出当前目录中所有以"t"开头的目录的详细内容

ls -l t*

(4) 列出文件绝对路径（不包含隐藏文件）

ls | sed "s:^:`pwd`/:"

(5) 列出文件绝对路径（包含隐藏文件）

find $pwd -maxdepth 1 | xargs ls -ld

2、cd 命令

cd(changeDirectory) 命令语法：

cd [目录名]

说明：切换当前目录至 dirName。

实例：

（1）进入要目录

cd /

（2）进入 "home" 目录

cd ~

（3）进入上一次工作路径

cd -

（4）把上个命令的参数作为cd参数使用。

cd !$

3、pwd 命令

pwd 命令用于查看当前工作目录路径。

实例：

（1）查看当前路径

pwd

（2）查看软链接的实际路径

pwd -P

4、mkdir 命令

mkdir 命令用于创建文件夹。

可用选项：

-m: 对新建目录设置存取权限，也可以用 chmod 命令设置;

-p: 可以是一个路径名称。此时若路径中的某些目录尚不存在,加上此选项后，系统将自动建立好那些尚不在的目录，即一次可以建立多个目录。

实例：

（1）当前工作目录下创建名为 t的文件夹

mkdir t

（2）在 tmp 目录下创建路径为 test/t1/t 的目录，若不存在，则创建：

mkdir -p /tmp/test/t1/t

5、rm 命令

删除一个目录中的一个或多个文件或目录，如果没有使用 -r 选项，则 rm 不会删除目录。如果使用 rm 来删除文件，通常仍可以将该文件恢复原状。

rm [选项] 文件…

实例：

（1）删除任何 .log 文件，删除前逐一询问确认：

rm -i *.log

（2）删除 test 子目录及子目录中所有档案删除，并且不用一一确认：

rm -rf test

（3）删除以 -f 开头的文件

rm -- -f*

6、rmdir 命令

从一个目录中删除一个或多个子目录项，删除某目录时也必须具有对其父目录的写权限。

注意：不能删除非空目录

实例：

（1）当 parent 子目录被删除后使它也成为空目录的话，则顺便一并删除：

rmdir -p parent/child/child11

7、mv 命令

移动文件或修改文件名，根据第二参数类型（如目录，则移动文件；如为文件则重命令该文件）。

当第二个参数为目录时，第一个参数可以是多个以空格分隔的文件或目录，然后移动第一个参数指定的多个文件到第二个参数指定的目录中。

实例：

（1）将文件 test.log 重命名为 test1.txt

mv test.log test1.txt

（2）将文件 log1.txt,log2.txt,log3.txt 移动到根的 test3 目录中

mv llog1.txt log2.txt log3.txt /test3

（3）将文件 file1 改名为 file2，如果 file2 已经存在，则询问是否覆盖

mv -i log1.txt log2.txt

（4）移动当前文件夹下的所有文件到上一级目录

mv * ../

8、cp 命令

将源文件复制至目标文件，或将多个源文件复制至目标目录。

注意：命令行复制，如果目标文件已经存在会提示是否覆盖，而在 shell 脚本中，如果不加 -i 参数，则不会提示，而是直接覆盖！

-i 提示

-r 复制目录及目录内所有项目

-a 复制的文件与原文件时间一样

实例：

（1）复制 a.txt 到 test 目录下，保持原文件时间，如果原文件存在提示是否覆盖。

cp -ai a.txt test

（2）为 a.txt 建议一个链接（快捷方式）

cp -s a.txt link_a.txt

9、cat 命令

cat 主要有三大功能：

1.一次显示整个文件:

cat filename

2.从键盘创建一个文件:

cat filename

只能创建新文件，不能编辑已有文件。

3.将几个文件合并为一个文件:

cat file1 file2 file

-b 对非空输出行号

-n 输出所有行号

实例：

（1）把 log2012.log 的文件内容加上行号后输入 log2013.log 这个文件里

cat -n log2012.log log2013.log

（2）把 log2012.log 和 log2013.log 的文件内容加上行号（空白行不加）之后将内容附加到 log.log 里

cat -b log2012.log log2013.log log.log

（3）使用 here doc 生成新文件

cat log.txt EOF

Hello

World

PWD=$(pwd)

EOF

ls -l log.txt

cat log.txt

Hello

World

PWD=/opt/soft/test

（4）反向列示

tac log.txt

PWD=/opt/soft/test

World

Hello

10、more 命令

功能类似于 cat, more 会以一页一页的显示方便使用者逐页阅读，而最基本的指令就是按空白键（space）就往下一页显示，按 b 键就会往回（back）一页显示。

命令参数：

+n 从笫 n 行开始显示

-n 定义屏幕大小为n行

+/pattern 在每个档案显示前搜寻该字串（pattern），然后从该字串前两行之后开始显示

-c 从顶部清屏，然后显示

-d 提示“Press space to continue，’q’ to quit（按空格键继续，按q键退出）”，禁用响铃功能

-l 忽略Ctrl+l（换页）字符

-p 通过清除窗口而不是滚屏来对文件进行换页，与-c选项相似

-s 把连续的多个空行显示为一行

-u 把文件内容中的下画线去掉

常用操作命令：

Enter 向下 n 行，需要定义。默认为 1 行

Ctrl+F 向下滚动一屏

空格键 向下滚动一屏

Ctrl+B 返回上一屏

= 输出当前行的行号

:f 输出文件名和当前行的行号

V 调用vi编辑器

!命令 调用Shell，并执行命令

q 退出more

实例：

（1）显示文件中从第3行起的内容

more +3 text.txt

（2）在所列出文件目录详细信息，借助管道使每次显示 5 行

ls -l | more -5

按空格显示下 5 行。

11、less 命令

less 与 more 类似，但使用 less 可以随意浏览文件，而 more 仅能向前移动，却不能向后移动，而且 less 在查看之前不会加载整个文件。

常用命令参数：

-i 忽略搜索时的大小写

-N 显示每行的行号

-o 将less 输出的内容在指定文件中保存起来

-s 显示连续空行为一行

/字符串：向下搜索“字符串”的功能

?字符串：向上搜索“字符串”的功能

n：重复前一个搜索（与 / 或 ? 有关）

N：反向重复前一个搜索（与 / 或 ? 有关）

-x 将“tab”键显示为规定的数字空格

b 向后翻一页

d 向后翻半页

h 显示帮助界面

Q 退出less 命令

u 向前滚动半页

y 向前滚动一行

空格键 滚动一行

回车键 滚动一页

[pagedown]： 向下翻动一页

[pageup]： 向上翻动一页

实例：

（1）ps 查看进程信息并通过 less 分页显示

ps -aux | less -N

（2）查看多个文件

less 1.log 2.log

可以使用 n 查看下一个，使用 p 查看前一个。

12、head 命令

head 用来显示档案的开头至标准输出中，默认 head 命令打印其相应文件的开头 10 行。

常用参数：

-n 显示的行数（行数为复数表示从最后向前数）

实例：

（1）显示 1.log 文件中前 20 行

head 1.log -n 20

（2）显示 1.log 文件前 20 字节

head -c 20 log2014.log

（3）显示 t.log最后 10 行

head -n -10 t.log

13、tail 命令

用于显示指定文件末尾内容，不指定文件时，作为输入信息进行处理。常用查看日志文件。

常用参数：

-f 循环读取（常用于查看递增的日志文件）

-n 显示行数（从后向前）

（1）循环读取逐渐增加的文件内容

ping 127.0.0.1 ping.log

后台运行：可使用 jobs -l 查看，也可使用 fg 将其移到前台运行。

tail -f ping.log

（查看日志）

14、which 命令

在 linux 要查找某个文件，但不知道放在哪里了，可以使用下面的一些命令来搜索：

which 查看可执行文件的位置。

whereis 查看文件的位置。

locate 配合数据库查看文件位置。

find 实际搜寻硬盘查询文件名称。

which 是在 PATH 就是指定的路径中，搜索某个系统命令的位置，并返回第一个搜索结果。使用 which 命令，就可以看到某个系统命令是否存在，以及执行的到底是哪一个位置的命令。

常用参数：

-n 　指定文件名长度，指定的长度必须大于或等于所有文件中最长的文件名。

实例：

（1）查看 ls 命令是否存在，执行哪个

which ls

（2）查看 which

which which

（3）查看 cd

which cd（显示不存在，因为 cd 是内建命令，而 which 查找显示是 PATH 中的命令）

查看当前 PATH 配置：

echo $PATH

或使用 env 查看所有环境变量及对应值

15、whereis 命令

whereis 命令只能用于程序名的搜索，而且只搜索二进制文件（参数-b）、man说明文件（参数-m）和源代码文件（参数-s）。如果省略参数，则返回所有信息。whereis 及 locate 都是基于系统内建的数据库进行搜索，因此效率很高，而find则是遍历硬盘查找文件。

常用参数：

-b 定位可执行文件。

-m 定位帮助文件。

-s 定位源代码文件。

-u 搜索默认路径下除可执行文件、源代码文件、帮助文件以外的其它文件。

实例：

（1）查找 locate 程序相关文件

whereis locate

（2）查找 locate 的源码文件

whereis -s locate

（3）查找 lcoate 的帮助文件

whereis -m locate

Linux常用命令以及解释

1.cd/home/fleety/Diagserver/log

cd到指定的目录

2.tail -f day.log

实时读取指定目录下的日志（一直中，不停止）

3.grep -a 'mdtId' day.log 或 grep -v 'mdtid' day.log

指定条件下查找mdtid文件的记录

4.tar -zcvf day.log.tgz day.log 或 tar -zcvf day.log.tgz

分别是四个参数

x : 从 tar 包中把文件提取出来

z : 表示 tar 包是被 gzip 压缩过的，所以解压时需要用 gunzip 解压

v : 显示详细信息

f xxx.tar.gz : 指定被处理的文件是 xxx.tar.gz

5.mkdir -p/home/fkeety/Diagserver/log

在home下建一个fleeety的子目录，在fleety下建一个DiagServer的子目录，在DiagServer建一个log的子目录

6.mv day.log day.log.bak

mv，移动文件到另一个文件，备份

7.rm -rf day.log

删除这个文件

8.vi day.log

打开或新建day.log文件，并将光标置于第一行首

9.pwd

显示工作目录

10. In -s aa bb

为bb文件在aa文件上建立一个同步的链接

11.unzip day.log.zip

解压到当前目录下

12. find/home/fleety/Diagserver -name ' zwyc' -print**

查找名称为XXX的内容并打印

13.ssh -l root 180.168.34.250 -p 9222

root权限连接主机，端口是9222

14.telnet 192.168.0.22 23

建立远程tcp连接

15. sed -n '100.2720p'1159857_20150506_2159857_20150506_2_2

将字符串'100,2720p' 写入文件15..._2文件里 并重定向到15..._2_2文件里

16.chmod fleety.fleety aaa

给fleety.fleety设置权限

17.chown 755 aaa

给aaa 添加

7 拥有者有 读取，写入，执行权限

7 组用户有 读取，写入，执行权限

5 其他用户有 读取，执行权限

18.cp -r /home/fleety/Diagserve/log ./

将log文件下的所有内容 复制到当前目录下

19.ftp 192.168.0.218 21

ftp模式连接远程主机 ，服务器会询问用户名和密码

20.more day.log

查看day.log日志，分页形式打开， more 一页页显示文件内容 空白键下一页 b键上一页

21.ps -ef

查看系统进程

22.top

主要用于查看进程的相关信息，同时它也会提供系统平均负载，cpu 信息和内存信息

linux：怎样从复杂的log中提取信息

/var/log/secure：记录登入系统存取数据的文件，例如 pop3, ssh, telnet, ftp 等都会被记录；

/var/log/wtmp：记录登入者的讯息数据，由于本文件已经被编码过，所以必须使用 last指令来取出文件的内容；

/var/log/messages：尤为重要，几乎发生的错误讯息（或是重要信息）都会被记录在此；

/var/log/boot.log：记录开机或者是一些服务启动的时候，所显示的启动或关闭讯息；

/var/log/maillog 或 /var/log/mail/*：纪录邮件存取或往来( sendmail 与 pop3 )的使用者记录；

/var/log/cron：记录 crontab 这个例行性服务的内容的。

/var/log/httpd, /var/log/news, /var/log/mysqld.log, /var/log/samba, /var/log/procmail.log：分别是几个不同的网络服务的记录文件！