linux分割文件命令 linux 文件拆分

Linux里面分割,切片是什么？

在Linux最常用的文件生成和切片工具是dd，它功能比较全面，但无法以行为单位提取文件数据，也无法直接将文件按大小或行数进行均分(除非借助循环)。另两款数据分割工具split和csplit能够比较轻松地实现这些需求。csplit是split的升级版。

创新互联2013年至今，先为大邑县等服务建站，大邑县等地企业，进行企业商务咨询服务。为大邑县企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

1.1 dd命令

从if指定的文件读取数据，写入到of指定的文件。使用bs指定读取和写入的块大小，使用count指定读取和写入的数据块数量，bs和count相乘就是文件总大小。可以指定skip忽略读取if指定文件的前多少个块，seek指定写入到of指定文件时忽略前多少个块。

dd if=/dev/zero of=/tmp/abc.1 bs=1M count=20

if是input file，of是output file；bs有c(1byte)、w(2bytes)、b(512bytes)、kB(1000bytes)、K(1024bytes)、MB(1000)、M(1024)和GB、G等几种单位。因此，不要随意在单位后加上字母B。

假设现有文件CentOS.iso的大小1.3G，需要将其切分后还原，切分的第一个小文件大小为500M。

dd if=/tmp/CentOS.iso of=/tmp/CentOS1.iso bs=2M count=250

生成第二个小文件，由于第二个小文件不知道具体大小，所以不指定count选项。由于第二个小文件要从第500M处开始切分，于是需要忽略CentOS.iso的前500M。假设bs=2M，于是skip掉的数据块数量为250。

dd if=/tmp/CentOS.iso of=/tmp/CentOS2.iso bs=2M skip=250

现在CentOS.iso=CentOS1.iso+CentOS2.iso。可以将CentOS[1-2].iso还原。

cat CentOS1.iso CentOS2.iso CentOS_m.iso

比较CentOS_m.iso和CentOS.iso的md5值，它们是完全一样的。

shell md5sum CentOS_m.iso CentOS.iso

504dbef14aed9b5990461f85d9fdc667 CentOS_m.iso

504dbef14aed9b5990461f85d9fdc667 CentOS.iso

那么seek选项呢？和skip有什么区别？skip选项是忽略读取时的前N个数据块，而seek是忽略写入文件的前N个数据块。假如要写入的文件为a.log，则seek=2时，将从a.log的第3个数据块开始追加数据，如果a.log文件本身大小就不足2个数据块，则缺少的部分自动使用/dev/zero填充。

于是，在有了CentOS1.iso的基础上，要将其还原为和CentOS.iso相同的文件，可以使用下面的方法：

dd if=/tmp/CentOS.iso of=/tmp/CentOS1.iso bs=2M skip=250 seek=250

还原后，它们的md5值也是相同的。

shellmd5sum CentOS1.iso CentOS.iso

504dbef14aed9b5990461f85d9fdc667 CentOS1.iso

504dbef14aed9b5990461f85d9fdc667 CentOS.iso

1.2 split命令

split工具的功能是将文件切分为多个小文件。既然要生成多个小文件，必然要指定切分文件的单位，支持按行切分以及按文件大小切分，另外还需解决小文件命名的问题。例如，文件名前缀、后缀。如果未明确指定前缀，则默认的前缀为"x"。

以下是命令的语法说明：

例如，将/etc/fstab按行切分，每5行切分一次，并指定小文件的前缀为"fs_"，后缀为数值后缀，且后缀长度为2。

[root@linuxidc ~]# split -l 5 -d -a 2 /etc/fstab fs_

[root@linuxidc~]# lsfs_00 fs_01 fs_02

查看任一小文件。

[root@linuxidc ~]# catfs_01

# Accessible filesystems, by reference, are maintained under'/dev/disk'# Seeman pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info#

UUID=b2a70faf-aea4-4d8e-8be8-c7109ac9c8b8 / xfs defaults 0 0UUID=367d6a77-033b-4037-bbcb-416705ead095 /boot xfs defaults 0 0

可以将这些切分后的小文件重新组装还原。例如，将上面的三个小文件还原为~/fstab.bak。

[root@linuxidc ~]# cat fs_0[0-2] ~/fstab.bak

还原后，它们的内容是完全一致的。可以使用md5sum比较。

[root@linuxidc ~]# md5sum /etc/fstab ~/fstab.bak

29b94c500f484040a675cb4ef81c87bf/etc/fstab

29b94c500f484040a675cb4ef81c87bf/root/fstab.bak

还可以将标准输入的数据进行切分，并分别写入到小文件中。例如：

[root@linuxidc ~]# seq 1 2 15 | split -l 3 -d -new_

[root@linuxidc~]# ls new*new_00 new_01 new_02

可以为每个小文件追加额外的后缀。有些老版本的split不支持该选项，而是在csplit上支持的，但是新版本的split已经支持。例如，加上".log"。

[root@linuxidc ~]# seq 1 2 20 | split -l 3 -d -a 3 --additional-suffix=".log" -new1_

[root@linuxidc~]# ls new1*new1_000.log new1_001.log new1_002.log new1_003.log

1.3 csplit命令

split只能按行或按照大小进行切分，无法按段落切分。csplit是split的变体，功能更多，它主要是按指定上下文按段落分割文件。

csplit [OPTION]... FILE PATTERN...

描述：按照PATTERN将文件切分为"xx00","xx01", ...，并在标准输出中输出每个小文件的字节数。

选项说明：-b FORMAT：指定文件后缀格式，格式为printf的格式，默认为%02d。表示后缀以2位数值，且不足处以0填充。-f PREFIX：指定前缀，不指定是默认为"xx"。-k：用于突发情况。表示即使发生了错误，也不删除已经分割完成的小文件。-m：明确禁止文件的行去匹配PATTERN。-s：(silent)不打印小文件的文件大小。-z：如果切分后的小文件中有空文件，则删除它们。

FILE：待切分的文件，如果要切分标准输入数据，则使用"-"。

PATTERNs：

INTEGER ：数值，假如为N，表示拷贝1到N-1行的内容到一个小文件中，其余内容到另一个小文件中。/REGEXP/[OFFSET]：从匹配到的行开始按照偏移量拷贝指定行数的内容到小文件中。

：其中OFFSET的格式为"+N"或"-N"，表示向后和向前拷贝N行%REGEXP%[OFFSET]：匹配到的行被忽略。

{INTEGER} ：假如值为N，表示重复N此前一个模式匹配。

{*} ：表示一直匹配到文件结尾才停止匹配。

假设文件内容如下：

[root@linuxidc ~]# cattest.txt

SERVER-1[connection]192.168.0.1success

[connection]192.168.0.2failed

[disconnect]192.168.0.3pending

[connection]192.168.0.4success

SERVER-2[connection]192.168.0.1failed

[connection]192.168.0.2failed

[disconnect]192.168.0.3success

[CONNECTION]192.168.0.4pending

SERVER-3[connection]192.168.0.1pending

[connection]192.168.0.2pending

[disconnect]192.168.0.3pending

[connection]192.168.0.4 failed

假设每个SERVER-n表示一个段落，于是要按照段落切分该文件，使用以下语句：

[root@linuxidc ~]# csplit -f test_ -b %04d.log test.txt /SERVER/ {*}0

140

139

140

"-f test_" 指定小文件前缀为"test_"， "-b %04d.log" 指定文件后缀格式"00xx.log"，它自动为每个小文件追加额外的后缀".log"， "/SERVER/" 表示匹配的模式，每匹配到一次，就生成一个小文件，且匹配到的行是该小文件中的内容， "{*}" 表示无限匹配前一个模式即/SERVER/直到文件结尾，假如不知道{*}或指定为{1}，将匹配一次成功后就不再匹配。

[root@linuxidc ~]# ls test_*test_0000.log test_0001.log test_0002.log test_0003.log

上面的文件中虽然只有三个段落：SERVER-1，SERVER-2，SERVER-3，但切分的结果生成了4个小文件，并且注意到第一个小文件大小为0字节。为什么会如此？因为在模式匹配的时候，每匹配到一行，这一行就作为下一个小文件的起始行。由于此文件第一行"SERVER-1"就被/SERVER/匹配到了，因此这一行是作为下一个小文件的内容，在此小文件之前还自动生成一个空文件。

生成的空文件可以使用"-z"选项来删除。

[root@linuxidc ~]# csplit -f test1_ -z -b %04d.log test.txt /SERVER/ {*}140

139

140

还可以指定只拷贝匹配到的行偏移数量。例如，匹配到行时，只拷贝它后面的1行(包括它自身共两行)，但多余的行将放入下一个小文件中。

[root@linuxidc ~]# csplit -f test2_ -z -b %04d.log test.txt /SERVER/+2 {*}42

139

140

98

第一个小文件只有两行。

[root@linuxidc ~]# cattest2_0000.log

SERVER-1[connection]192.168.0.1 success

SERVER-1段落的其余内容放入到了第二个小文件中。

[root@linuxidc ~]# cattest2_0001.log

[connection]192.168.0.2failed

[disconnect]192.168.0.3pending

[connection]192.168.0.4success

SERVER-2[connection]192.168.0.1 failed

同理第三个小文件也一样，直到最后一个小文件中存放剩余所有无法匹配的内容。

[root@linuxidc ~]# cattest2_0003.log

[connection]192.168.0.2pending

[disconnect]192.168.0.3pending

[connection]192.168.0.4 failed

指定"-s"或"-q"选项以静默模式运行，将不会输出小文件的大小信息。

[root@linuxidc ~]# csplit -q -f test3_ -z -b %04d.log test.txt /SERVER/+2 {*}

linux大文件的拆分 合并 压缩 解压缩

1．分割 -- split命令

可以指定按行数分割和按字节大小分割两种模式。

(1) 按行数分割

加上-d，使用数字后缀；加上--verbose，显示分割进度：

(2) 按字节大小分割

2．合并 -- cat命令

3 . 文件压缩成 tar.gz

4 . 解压缩 tar.gz文件

linux下将文件按行分割的命令

1）按2行切割 -l 2

2）指定切割后的文件前缀名 data_

3）指定切割后的文件后缀名为数字 -d

4）指定切割后的文件后缀名数字的长度    -a 4，即位宽（10进制），这里长度可根据切割出来的文件有多少估算，到底拆分为几个文件，由总行数，和每个文件的行数决定，不用指定。

如果为-a 4文件的后缀数字从0000开始计算，依次为0001，0002，0003，0004

split -l 2 data.log -d -a 4 data_

将文件data.log进行拆分，每个文件2行，如果文件总共有7行，则分为data_0000，data_0001，data_0002，data_0003

linux split拆分文件

15 分钟之后，我要去朋友家聚会。我打算从我的台式机上把一部 700MB 大小的美国大片拷贝出来，带到朋友家去看，可是我的两个优盘都只有 512MB，这让我如何是好？

别急，用 10 分钟赶快来认识一下我们的 split 拆分小能手，一切问题将迎刃而解。当遇到大文件而苦不堪言的时候，split 就会像天使一样解救我们于水火之中。

合久必分

闲言少叙，我们现在就来介绍拆分的方法。先使用 dd 命令来生成一个 700MB 文件来作为我们的拆分对象：

美国大片的文件大小是 700MB，而我手边仅有的两个优盘，都是 512MB 大小的。我打算把文件以 400MB 作为一个拆分单位，来进行拆分。这里使用到了 split 的-b选项，来指定每个拆分文件的大小：

看！分身完毕！咦，怎么多出了 xaa 和 xab 两个文件，这么奇怪的名字？

是的，你没看错，在没有明确指定拆分后文件的命名方式的情况下，split 会默认采用 x 字符作为文件前缀，采用类似 aa、ab、ac 的字符串依次作为文件后缀。于是，就出现了我们上面看到的 xaa、xab 了。

从文件大小来看，如我们所愿，电影文件的确被切割成了一个 400MB 的文件、一个 300MB 的文件，终于可以装到两个优盘里了。

知其然，知其所以然

知道了拆分命令后，我们来一起学习一下 split 的命令格式和常用选项。

split 的作用很好描述，就是将文件按照一定规则进行拆分。一般情况下，我们可以按照文件大小来进行拆分，如果是文本文件的话，还可以按照行数来进行拆分，默认是 1000 行作为一个拆分单位。

默认情况下，分割后的文件的名称会以 x 作为前缀，以 aa、ab、ac 这样的双字母格式作为后缀，形成 xaa、xab 这样的名称格式。

我们来一起看看 split 的命令格式：

split [-b ][-C ][-][-l ][要切割的文件][输出文件名前缀][-a ]

最常用的选项，都在这里了：

-b字节：指定按多少字节进行拆分，也可以指定 K、M、G、T 等单位。

-行数或-l行数：指定每多少行要拆分成一个文件。

输出文件名前缀：设置拆分后的文件的名称前缀，split 会自动在前缀后加上编号，默认从 aa 开始。

-a后缀长度：默认的后缀长度是 2，也就是按 aa、ab、ac 这样的格式依次编号。

分久必合

完成了美国大片的拆分，我赶赴朋友家，打开他的电脑，优盘插上，使用 cat 命令将拆分文件 xaa 和 xab 合并成一个文件，可以看出合并后的文件和源文件的大小是一致的：

对了，如果是在 Windows 下的话，我们要先运行 cmd，然后用 copy 命令来进行文件的合并：

copy /b xaa + xab king_of_ring.avi

格式上和 Linux 有些区别，但原理是一样的。

设置拆分文件的名称前缀

上面例子中，我们没有指定拆分文件的名称前缀，结果拆分后的文件名都是 aa、ab 这样的名称，这样的名称既不达意也不美观。

下面的例子，我们尝试以 king_of_ring_part_ 作为拆分后文件的名称前缀：

[root@roclinux ~]$ split -b 400m king_of_ring.avi king_of_ring_part_

文件名的可读性是不是提高了不少，从文件名称就可以看出来是美国大片的拆分文件啦。

设置数字后缀

如果大家看不惯以 aa、ab 这种字母作为文件后缀，我们还可以通过-d选项来指定数字形式的文件后缀：

[root@roclinux ~]$ split -b 400m -d king_of_ring.avi king_of_ring_part_

对于中国人来说，数字形式的后缀，增加了文件名称的可读性。

按照行数进行拆分

前面我们讲的是按照文件大小（如 400MB）进行文件拆分的方法，但是并非所有情况都适合于用文件大小作为拆分单元。比如，我们希望把 /etc/passwd 文件按照一个文件 10 行记录的方式进行拆分，又该怎么操作呢？

[root@roclinux ~]$ split -d -10 /etc/passwd my_passwd_

合并后的校验不可少

需要注意的是，在通过网络来传输大文件，或者在设备之间复制大文件的时候，可能会出现传输前后数据不一致的情况。

使用 split 来拆分大文件仅仅是故事的开始，操作完毕后化零为整、完璧归赵才是完美的结局。因此需要在合并文件后进行文件的完整性校验，推荐使用 md5sum 来计算和比对前后两个大文件的 md5 值。

如果前后一致，那么恭喜你，文件合并成功！

好了，split 学完了，我们也可以和朋友一起欣赏惊险刺激的美国大片了！