Hadoop文件系统有哪些

这篇文章主要介绍Hadoop文件系统有哪些，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

站在用户的角度思考问题，与客户深入沟通，找到大足网站设计与大足网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：网站制作、网站建设、企业官网、英文网站、手机端网站、网站推广、主机域名、虚拟主机、企业邮箱。业务覆盖大足地区。

Hadoop有一个抽象的文件系统概念，HDFS只是其中的一个实现。Java抽象类 org.apache.hadoop.fs.FileSystem展示了Hadoop的一个文件系统，而且有几个具体实现，如表 3-1所示。

文件系统	URI 方案	Java实现(全部在 org.apache.hadoop)	描述
Local	file	fs.LocalFileSystem	针对有客户端校验和的本地连接磁盘使用的文件系统。针对没有校验和的本地文件系统使用 RawLocalFileSystem。详情参见第4章
HDFS	hdfs	hdfs.Distributed- FileSystem	Hadoop的分布式文件系统。HDFS 被设计为结合使用 Map-Reduce实现高效工作
HFTP	hftp	hdfs.HftpFileSystem	一个在HTTP上提供对HDFS只读访问的文件系统(虽然其名称为HFTP，但它与FTP无关)。通常与distcp结合使用 (参见第3章)，在运行不同版本HDFS的集群间复制数据
HSFTP	hsftp	hdfs.Hsftp- FileSystem	在HTTPS上提供对 HDFS只读访问的文件系统(同上，与 FTP无关)
HAR	har	fs.HarFileSystem	一个构建在其他文件系统上来存档文件的文件系统。Hadoop 存档一般在HDFS中的文件存档时使用，以减少名称节点内存的使用
KFS(Cloud-Store)	kfs	fs.kfs.Kosmos- FleSystem	cloudstore(其前身是 Kosmos文件系统) 是相似于HDFS或是 Google的GFS的文件系统，用C++编写。详情可参见http://kosmosfs. sourceforge.net/
FTP	ftp	fs.ftp.FTP- FileSystem	由FTP服务器支持的文件系统
S3(本地)	s3n	fs.s3native.Native- S3FileSystem.	由Amazon S3支持的文件系统。可参见 http://wiki.apache.org /hadoop/AmazonS3
S3(基于块)	s3	fs.s3.S3FileSystem	由 Amazon S3支持的文件系统，以块格式存储文件 (与HDFS很相似) 来解决S3的5 GB 文件大小限制

Hadoop提供了许多文件系统的接口，它一般使用URI 方案来选取合适的文件系统实例交互。举例来说，我们在前一小节中研究的文件系统shell可以操作所有的Hadoop文件系统。列出本地文件系统根目录下的文件，输入以下命令：

1. % hadoop fs -ls file:///

尽管运行那些可访问任何文件系统的MapReduce程序是可行的(有时也很方便)，但在处理大量数据时，仍然需要选择一个有最优本地数据的分布式文件系统，如HDFS或者KFS。

以上是“Hadoop文件系统有哪些”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！

文章标题：Hadoop文件系统有哪些
本文来源：http://cqcxhl.com/article/pcjhid.html