Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程-创新互联

1.选取三台服务器（CentOS系统64位）

114.55.246.88 主节点

114.55.246.77 从节点

114.55.246.93 从节点

   之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。

我是用root用户操作的。

2.修改hosts文件

修改三台服务器的hosts文件。

vi /etc/hosts

在原文件的基础最后面加上：

114.55.246.88 Master114.55.246.77 Slave1114.55.246.93 Slave2

修改完成后保存执行如下命令。

source /etc/hosts

3.ssh无密码验证配置

3.1安装和启动ssh协议

我们需要两个服务：ssh和rsync。

可以通过下面命令查看是否已经安装：

rpm -qa|grep openssh

rpm -qa|grep rsync

如果没有安装ssh和rsync，可以通过下面命令进行安装：

yum install ssh （安装ssh协议）

yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）

service sshd restart （启动服务）

3.2 配置Master无密码登录所有Salve

配置Master节点，以下是在Master节点的配置操作。

1）在Master节点上生成密码对，在Master节点上执行以下命令：

ssh-keygen -t rsa -P ''

生成的密钥对：id_rsa和id_rsa.pub，默认存储在"/root/.ssh"目录下。

2）接着在Master节点上做如下配置，把id_rsa.pub追加到授权的key里面去。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3）修改ssh配置文件"/etc/ssh/sshd_config"的下列内容，将以下内容的注释去掉：

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

4）重启ssh服务，才能使刚才设置有效。

service sshd restart

5）验证无密码登录本机是否成功。

ssh localhost

6）接下来的就是把公钥复制到所有的Slave机器上。使用下面的命令进行复制公钥：

scp /root/.ssh/id_rsa.pub root@Slave1:/root/

scp /root/.ssh/id_rsa.pub root@Slave2:/root/

接着配置Slave节点，以下是在Slave1节点的配置操作。

1）在"/root/"下创建".ssh"文件夹，如果已经存在就不需要创建了。

mkdir /root/.ssh

2）将Master的公钥追加到Slave1的授权文件"authorized_keys"中去。

cat /root/id_rsa.pub >> /root/.ssh/authorized_keys

3）修改"/etc/ssh/sshd_config"，具体步骤参考前面Master设置的第3步和第4步。

4）用Master使用ssh无密码登录Slave1

ssh 114.55.246.77

5）把"/root/"目录下的"id_rsa.pub"文件删除掉。

rm –r /root/id_rsa.pub

重复上面的5个步骤把Slave2服务器进行相同的配置。

3.3 配置所有Slave无密码登录Master

以下是在Slave1节点的配置操作。

1）创建"Slave1"自己的公钥和私钥，并把自己的公钥追加到"authorized_keys"文件中，执行下面命令：

ssh-keygen -t rsa -P ''

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

2）将Slave1节点的公钥"id_rsa.pub"复制到Master节点的"/root/"目录下。

scp /root/.ssh/id_rsa.pub root@Master:/root/

以下是在Master节点的配置操作。

1）将Slave1的公钥追加到Master的授权文件"authorized_keys"中去。

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

2）删除Slave1复制过来的"id_rsa.pub"文件。

rm –r /root/id_rsa.pub

配置完成后测试从Slave1到Master无密码登录。

ssh 114.55.246.88

按照上面的步骤把Slave2和Master之间建立起无密码登录。这样，Master能无密码验证登录每个Slave，每个Slave也能无密码验证登录到Master。

4.安装基础环境（JAVA和SCALA环境）

4.1 Java1.8环境搭建

1）下载jdk-8u121-linux-x64.tar.gz解压

tar -zxvf jdk-8u121-linux-x64.tar.gz

2）添加Java环境变量，在/etc/profile中添加：

export JAVA_HOME=/usr/local/jdk1.8.0_121PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar
export JAVA_HOME PATH CLASSPATH

3）保存后刷新配置

source /etc/profile

4.2 Scala2.11.8环境搭建

1）下载scala安装包scala-2.11.8.rpm安装

rpm -ivh scala-2.11.8.rpm

2）添加Scala环境变量，在/etc/profile中添加：

export SCALA_HOME=/usr/share/scala
export PATH=$SCALA_HOME/bin:$PATH

3）保存后刷新配置

source /etc/profile

5.Hadoop2.7.3完全分布式搭建

以下是在Master节点操作：

1）下载二进制包hadoop-2.7.3.tar.gz

2）解压并移动到相应目录，我习惯将软件放到/opt目录下，命令如下：

tar -zxvf hadoop-2.7.3.tar.gz

mv hadoop-2.7.3 /opt

3）修改相应的配置文件。

修改/etc/profile，增加如下内容：

 export HADOOP_HOME=/opt/hadoop-2.7.3/
 export PATH=$PATH:$HADOOP_HOME/bin
 export PATH=$PATH:$HADOOP_HOME/sbin
 export HADOOP_MAPRED_HOME=$HADOOP_HOME
 export HADOOP_COMMON_HOME=$HADOOP_HOME
 export HADOOP_HDFS_HOME=$HADOOP_HOME
 export YARN_HOME=$HADOOP_HOME
 export HADOOP_ROOT_LOGGER=INFO,console
 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
 export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

修改完成后执行：

source /etc/profile

修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh，修改JAVA_HOME 如下：

  export JAVA_HOME=/usr/local/jdk1.8.0_121

修改$HADOOP_HOME/etc/hadoop/slaves，将原来的localhost删除，改成如下内容：

Slave1
Slave2

修改$HADOOP_HOME/etc/hadoop/core-site.xml

    
      fs.defaultFS
      hdfs://Master:9000
    
    
     io.file.buffer.size
     131072
   
   
      hadoop.tmp.dir
      /opt/hadoop-2.7.3/tmp
   

修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml

   
    dfs.namenode.secondary.http-address
    Master:50090
   
   
    dfs.replication
    2
   
   
    dfs.namenode.name.dir
    file:/opt/hadoop-2.7.3/hdfs/name
   
   
    dfs.datanode.data.dir
    file:/opt/hadoop-2.7.3/hdfs/data
   

复制template，生成xml，命令如下：

cp mapred-site.xml.template mapred-site.xml

修改$HADOOP_HOME/etc/hadoop/mapred-site.xml

 
   mapreduce.framework.name
   yarn
  
  
      mapreduce.jobhistory.address
      Master:10020
  
  
      mapreduce.jobhistory.address
      Master:19888
  

修改$HADOOP_HOME/etc/hadoop/yarn-site.xml

   
     yarn.nodemanager.aux-services
     mapreduce_shuffle
   
   
     yarn.resourcemanager.address
     Master:8032
   
   
     yarn.resourcemanager.scheduler.address
     Master:8030
   
   
     yarn.resourcemanager.resource-tracker.address
     Master:8031
   
   
     yarn.resourcemanager.admin.address
     Master:8033
   
   
     yarn.resourcemanager.webapp.address
     Master:8088
   

4）复制Master节点的hadoop文件夹到Slave1和Slave2上。

scp -r /opt/hadoop-2.7.3 root@Slave1:/opt

scp -r /opt/hadoop-2.7.3 root@Slave2:/opt

5）在Slave1和Slave2上分别修改/etc/profile，过程同Master一样。

6）在Master节点启动集群，启动之前格式化一下namenode：

hadoop namenode -format

启动：

/opt/hadoop-2.7.3/sbin/start-all.sh

至此hadoop的完全分布式环境搭建完毕。

7）查看集群是否启动成功：

jps

Master显示：

SecondaryNameNode

ResourceManager

NameNode

Slave显示：

NodeManager

DataNode

6.Spark2.1.0完全分布式环境搭建

以下操作都在Master节点进行。

1）下载二进制包spark-2.1.0-bin-hadoop2.7.tgz

2）解压并移动到相应目录，命令如下：

tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz

mv hadoop-2.7.3 /opt

3）修改相应的配置文件。

修改/etc/profie，增加如下内容：

export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7/
export PATH=$PATH:$SPARK_HOME/bin

复制spark-env.sh.template成spark-env.sh

cp spark-env.sh.template spark-env.sh

修改$SPARK_HOME/conf/spark-env.sh，添加如下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_121export SCALA_HOME=/usr/share/scala
export HADOOP_HOME=/opt/hadoop-2.7.3export HADOOP_CONF_DIR=/opt/hadoop-2.7.3/etc/hadoop
export SPARK_MASTER_IP=114.55.246.88export SPARK_MASTER_HOST=114.55.246.88export SPARK_LOCAL_IP=114.55.246.88export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7export SPARK_DIST_CLASSPATH=$(/opt/hadoop-2.7.3/bin/hadoop classpath)

复制slaves.template成slaves

cp slaves.template slaves

修改$SPARK_HOME/conf/slaves，添加如下内容：

Master
Slave1
Slave2

4）将配置好的spark文件复制到Slave1和Slave2节点。

scp /opt/spark-2.1.0-bin-hadoop2.7 root@Slave1:/opt

    scp /opt/spark-2.1.0-bin-hadoop2.7 root@Slave2:/opt

5）修改Slave1和Slave2配置。

在Slave1和Slave2上分别修改/etc/profile，增加Spark的配置，过程同Master一样。

在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh，将export SPARK_LOCAL_IP=114.55.246.88改成Slave1和Slave2对应节点的IP。

6）在Master节点启动集群。

/opt/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh

7）查看集群是否启动成功：

jps

Master在Hadoop的基础上新增了：

Master

Slave在Hadoop的基础上新增了：

Worker

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。