重庆分公司
重庆分公司，新征程启航
为企业提供网站建设、域名注册、服务器等服务
HDFS有哪些基本操作
HDFS有哪些基本操作？针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
惠济ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为成都创新互联的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：18980820575（备注：SSL证书合作）期待与您的合作！
1、Shell命令行客户端
Hadoop提供了文件系统的shell命令行客户端，使用方法如下：
hadoop fs
文件系统 shell包括与 Hadoop分布式文件系统（HDFS）以及 Hadoop支持的其他文件系统（如本地 FS，HFTP FS，S3 FS等）直接交互的各种类似 shell的命令。所有 FS shell命令都将路径 URI作为参数。
URI格式为 scheme://authority/path。对于 HDFS，该 scheme是 hdfs，对于本地 FS，该 scheme是 file。scheme和 authority是可选的。如果未指定， 则使用配置中指定的默认方案。
对于 HDFS,命令示例如下：
hadoop fs -ls hdfs://namenode:host/parent/child hadoop fs -ls /parent/child fs.defaultFS中有配置对于本地文件系统，命令示例如下：
hadoop fs -ls file:///root/
如果使用的文件系统是 HDFS，则使用 hdfs dfs也是可以的，此时
hadoop fs
2、Shell命令选项
选项名称 | 使用格式 | 含义 |
-ls | -ls <路径> | 查看指定路径的当前目录结构 |
-lsr | -lsr <路径> | 递归查看指定路径的目录结构 |
-du | -du <路径> | 统计目录下个文件大小 |
-dus | -dus <路径> | 汇总统计目录下文件(夹)大小 |
-count | -count [-q] <路径> | 统计文件(夹)数量 |
-mv | -mv <源路径> <目的路径> | 移动 |
-cp | -cp <源路径> <目的路径> | 复制 |
-rm | -rm [-skipTrash] <路径> | 删除文件/空白文件夹 |
-rmr | -rmr [-skipTrash] <路径> | 递归删除 |
-put | -put <多个 linux上的文件> | 上传文件 |
-copyFromLocal | -copyFromLocal <多个 linux上的文件> | 从本地复制 |
-moveFromLocal | -moveFromLocal <多个 linux上的文件> | 从本地移动 |
-getmerge | -getmerge <源路径> | 合并到本地 |
-cat | -cat | 查看文件内容 |
-text | -text | 查看文件内容 |
-copyToLocal | -copyToLocal [-ignoreCrc] [-crc] [hdfs 源路径] [linux目的路径] | 从本地复制 |
-moveToLocal | -moveToLocal [-crc] nux目的路径> | 从本地移动 |
-mkdir | -mkdir | 创建空白文件夹 |
-setrep | -setrep [-R] [-w] <副本数> <路径> | 修改副本数量 |
-touchz | -touchz <文件路径> | 创建空白文件 |
-stat | -stat [format] <路径> | 显示文件统计信息 |
-tail | -tail [-f] <文件> | 查看文件尾部信息 |
-chmod | -chmod [-R] <权限模式> [路径] | 修改权限 |
-chown | -chown [-R] [属主][:[属组]]路径 | 修改属主 |
-chgrp | -chgrp [-R]属组名称 路径 | 修改属组 |
-help | -help [命令选项] | 帮助 |
3、Shell常用命令介绍
（1）ls
使用方法：hadoop fs -ls [-h] [-R]
功能：显示文件、目录信息。
示例：hadoop fs -ls /user/hadoop/file1
（2）mkdir
使用方法：hadoop fs -mkdir [-p]
功能：在 hdfs上创建目录，-p表示会创建路径中的各级父目录。
示例：hadoop fs -mkdir –p /user/hadoop/dir1
（3）put
使用方法：hadoop fs -put [-f] [-p] [ -|
功能：将单个 src或多个 srcs从本地文件系统复制到目标文件系统。
-p：保留访问和修改时间，所有权和权限。
-f：覆盖目的地（如果已经存在）。
示例：hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir
（4）get
使用方法：hadoop fs -get [-ignorecrc] [-crc] [-p] [-f]
-ignorecrc：跳过对下载文件的 CRC检查。
-crc：为下载的文件写 CRC校验和。功能：将文件复制到本地文件系统。
示例：hadoop fs -get hdfs://host:port/user/hadoop/file localfile
（5）appendToFile
使用方法：hadoop fs -appendToFile
功能：追加一个文件到已经存在的文件末尾。
示例：hadoop fs -appendToFile localfile /hadoop/hadoopfile
（6）cat
使用方法：hadoop fs -cat [-ignoreCrc] URI [URI ...]
功能：显示文件内容到 stdout。
示例：hadoop fs -cat /hadoop/hadoopfile
（7）tail
使用方法：hadoop fs -tail [-f] URI
功能：将文件的最后一千字节内容显示到 stdout。
-f选项将在文件增长时输出附加数据。
示例：hadoop fs -tail /hadoop/hadoopfile
（8）chgrp
使用方法：hadoop fs -chgrp [-R] GROUP URI [URI ...]
功能：更改文件组的关联。用户必须是文件的所有者，否则是超级用户。
-R将使改变在目录结构下递归进行。
示例：hadoop fs -chgrp othergroup /hadoop/hadoopfile
（9）chmod
功能：改变文件的权限。使用-R将使改变在目录结构下递归进行。
示例：hadoop fs -chmod 666 /hadoop/hadoopfile
（10）chown
功能：改变文件的拥有者。使用-R 将使改变在目录结构下递归进行。
示例 ：hadoop fs -chown someuser:somegrp /hadoop/hadoopfile
（11）copyFromLocal
使用方法：hadoop fs -copyFromLocal
功能：从本地文件系统中拷贝文件到 hdfs路径去 。
示例：hadoop fs -copyFromLocal /root/1.txt /
（12）copyToLocal
功能：从 hdfs拷贝到本地 。
示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz
（13）cp
功能：从 hdfs的一个路径拷贝 hdfs的另一个路径。
示例：hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2
（14）mv
功能：在 hdfs目录中移动文件。
示例：hadoop fs -mv /aaa/jdk.tar.gz /
（15）getmerge
功能：合并下载多个文件。
示例：比如hdfs的目录/aaa/下有多个文件:log.1, log.2,log.3,... hadoop fs -getmerge /aaa/log.* ./log.sum
（16）rm
功能：删除指定的文件。只删除非空目录和文件。-r递归删除。
示例：hadoop fs -rm -r /aaa/bbb/
（17）df
功能：统计文件系统的可用空间信息。
示例：hadoop fs -df -h /
（18）du
功能：显示目录中所有文件大小，当只指定一个文件时，显示此文件的大小。
示例：hadoop fs -du /user/hadoop/dir1
（19）setrep
功能：改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。
示例：hadoop fs -setrep -w 3 -R /user/hadoop/dir1
关于HDFS有哪些基本操作问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注创新互联行业资讯频道了解更多相关知识。
本文名称：HDFS有哪些基本操作
网站网址：http://cqcxhl.com/article/jehejd.html