重庆分公司,新征程启航

为企业提供网站建设、域名注册、服务器等服务

Hadoop环境搭建cdh版本-创新互联

hadoop环境搭建单机(cdh版本)

Hadoop环境搭建cdh版本

创新互联网站建设公司是一家服务多年做网站建设策划设计制作的公司,为广大用户提供了成都网站设计、成都网站制作,成都网站设计,广告投放,成都做网站选创新互联,贴合企业需求,高性价比,满足客户不同层次的需求一站式服务欢迎致电。

1.下载安装包

下载地址http://hadoop.apache.org/

下载hadoop-2.6.0-cdh6.12.2

2.安装tar -zxvf  hadoop-2.6.0-cdh6.12.2.tar.gz

Hadoop环境搭建cdh版本

3.创建文件夹储存hadoop,给hadoop重命名

Hadoop环境搭建cdh版本

4.进入etc文件夹选择hadoop文件夹  cd hadoop

Hadoop环境搭建cdh版本

5.开始配置hadoop-env.sh   修改其中的JAVA_HOME路径

Hadoop环境搭建cdh版本

Hadoop环境搭建cdh版本

6.配置core-site.xml

Hadoop环境搭建cdh版本

fs.defaultFS默认文件系统的名称,用来确定主机、端口等对于一个文件系统.

hadoop.tmp.dir是hadoop的临时文件目录

hadoop.proxyuser.root.users 远程使用root登录的用户

hadoop.proxyuser.root.groups远程root组的用户登录

Hadoop环境搭建cdh版本

7.修改hdfs-site.xml   

Hadoop环境搭建cdh版本

dfs.replication文件副本数量,副本数量默认按128M进行切分,若小于此值的话则不切分!一个文件,上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数,对已经上传了的文件也不会起作用。

Hadoop环境搭建cdh版本

8.复制mapred-site.xml.template 并修改内容

Hadoop环境搭建cdh版本

使用 Yarn 框架执行 map-reduce 处理程序

Hadoop环境搭建cdh版本

9.配置yarn-site.xml

Hadoop环境搭建cdh版本

yarn.resourcemanager.address提供客户端访问的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等

yarn.nodemanager.aux-services通过该配置项,用户可以自定义一些服务,例如Map-Reduce的shuffle功能就是采用这种方式实现的,这样就可以在NodeManager上扩展自己的服务。

Shuffle把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好,从Map输出到Reduce输入的整个过程可以广义地称为Shuffle。

Hadoop环境搭建cdh版本

10修改etc/profile,添加以下内容

export HADOOP_HOME=/opt/bigdata/hadoop260 

export HADOOP_MAPRED_HOME=$HADOOP_HOME 

export HADOOP_COMMON_HOME=$HADOOP_HOME 

export HADOOP_HDFS_HOME=$HADOOP_HOME 

export YARN_HOME=$HADOOP_HOME 

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 

export HADOOP_INSTALL=$HADOOP_HOME

11.格式化

hdfs namenode -format

12、启动start-all.sh 

关闭是stop-all.sh

Hadoop环境搭建cdh版本

13、jps查看所有进程是否开启

Hadoop环境搭建cdh版本

14、访问

http://192.168.56.110:50070

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


新闻标题:Hadoop环境搭建cdh版本-创新互联
文章链接:http://cqcxhl.com/article/djdhoo.html

其他资讯

在线咨询
服务热线
服务热线:028-86922220
TOP