hadoop分布式集群的搭建过程

这篇文章主要讲解了“hadoop分布式集群的搭建过程”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“hadoop分布式集群的搭建过程”吧！

10年积累的网站制作、做网站经验，可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你，你也不认识我。但先网站设计后付款的网站建设流程，更有浚县免费网站建设让你可以放心的选择与我们合作。

hadoop分布式集群搭建：

1. 集群规划：

2.具体步骤：

（1）上传安装包，并解压到相关目录：

[hadoop@hadoop01 home]$ put c:/hadoop-2.6.5-centos-6.7.tar.gz
[hadoop@hadoop01 home]$tar -zxvf hadoop-2.6.5-centos-6.7.tar.gz -C /home/hadoop/apps

（2）修改配置文件：

[hadoop@hadoop01 home]$ cd /home/hadoop/apps/hadoop-2.6.5/hadoop/etc
这里需要修改6个配置文件：
hadoop-env.sh：
加入：export JAVA_HOME=/usr/java/jdk1.8.0_73

core-site.xml：

 fs.defaultFS
 hdfs://hadoop01:9000


 hadoop.tmp.dir
 /home/hadoop/hadoopdata

hdfs-site.xml：

 dfs.namenode.name.dir
 /home/hadoop/hadoopdata/name
为了保证元数据的安全一般配置多个不同目录


 dfs.datanode.data.dir
 /home/hadoop/hadoopdata/data
datanode 的数据存储目录


dfs.replication
 2
HDFS 的数据块的副本存储个数


 dfs.secondary.http.address
 hadoop02:50090
secondarynamenode 运行节点的信息，和 namenode 不同节点

mapred-site.xml：

 mapreduce.framework.name
 yarn

yarn-site.xml：

 yarn.resourcemanager.hostname
 hadoop03


 yarn.nodemanager.aux-services
 mapreduce_shuffle
YARN 集群为 MapReduce 程序提供的 shuffle 服务

slaves：

 hadoop01
 hadoop02
 hadoop03

（3）分发安装包到各个节点，Hadoop 集群的每个节点都需要安装 Hadoop 安装包：

[hadoop@hadoop01 etc]$scp -r hadoop-2.6.5 hadoop02:$PWD
[hadoop@hadoop01 etc]$scp -r hadoop-2.6.5 hadoop03:$PWD

（4）配置hadoop的环境变量

[hadoop@hadoop01 etc]$sudo vim /etc/profile:
加入：
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5/
export  PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[hadoop@hadoop01 etc]$source /etc/profile

（5）在 HDFS 主节点上执行命令进行初始化 namenode

[hadoop@hadoop01 etc]$hadoop namenode -format

（6）在 HDFS 上的主节点启动 HDFS

[hadoop@hadoop01 etc]$start-dfs.sh

（7）在 HDFS 上的主节点启动 YARN

[hadoop@hadoop01 etc]$sbin/start-yarn.sh

补充：
hdfs的web界面是： http://hadoop01:50070
yarn的web界面是： http://hadoop03:8088
查看集群的状态：hdfs dfsadmin -report
1、启动 namenode 或者 datenode
sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start secondarynamenode
2、启动 yarn nodemanager
sbin/yarn-daemon.sh start nodemanager
sbin/yarn-daemon.sh start resourcemanager

感谢各位的阅读，以上就是“hadoop分布式集群的搭建过程”的内容了，经过本文的学习后，相信大家对hadoop分布式集群的搭建过程这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！