重庆分公司,新征程启航

为企业提供网站建设、域名注册、服务器等服务

RedHathadoop集群的安装步骤

这篇文章主要讲解了“RedHat hadoop集群的安装步骤”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“RedHat hadoop集群的安装步骤”吧!

让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:域名申请雅安服务器托管、营销软件、网站建设、鞍山网站维护、网站推广。

1、网络配置

2、机器名修改

3、集群hosts列表

4、关闭防火墙、SELinux

#查看selinux状态

[root@master1 ~]# sestatus -v
#关闭selinux

vi /etc/selinux/config  

SELINUX=disabled 

5、时间同步

#手动同步时间

/usr/sbin/ntpdate cn.pool.ntp.org

#配置时间同步(实现自动同步时间)

0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

crontab –e

6、jdk环境安装

#查看系统自动安装的jdk

[root@master1 opt]# rpm -qa | grep jdk

#删除系统自动安装的jdk

[root@master1 opt]# rpm -qa | grep jdk
java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
[root@master1 opt]# rpm -e -nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
-nodeps: 未知的选项
[root@master1 opt]# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64


[root@node1 soft-src]# pwd
/tmp/soft-src

#查看目录内容

[root@node1 soft-src]# ll -a
总用量 139052
drwxr-xr-x.  3 root root      4096 9月  22 10:30 .
drwxrwxrwt. 25 root root      4096 9月  22 10:30 ..
-rwxrw-rw-.  1 root root 142376665 9月  20 11:16 jdk-7u67-linux-x64.tar.gz

#解压

[root@node1 soft-src]# tar xvf jdk-7u67-linux-x64.tar.gz

#查看目录

[root@node1 soft-src]# ll -a
总用量 139052
drwxr-xr-x.  3 root root      4096 9月  22 10:30 .
drwxrwxrwt. 25 root root      4096 9月  22 10:30 ..
drwxr-xr-x.  8 uucp  143      4096 7月  26 00:51 jdk1.7.0_67
-rwxrw-rw-.  1 root root 142376665 9月  20 11:16 jdk-7u67-linux-x64.tar.gz

#设置JAVA_HOME

[root@secondarynamenode 桌面]# vi /etc/profile.d/java.sh 

export JAVA_HOME=/tmp/soft-src/jdk1.7.0_67
export CLASSPATH=/tmp/soft-src/jdk1.7.0_67/lib
export PATH=$JAVA_HOME/bin:$PATH

#查看jdk安装位置

[root@secondarynamenode 桌面]# which java
/tmp/soft-src/jdk1.7.0_67/bin/java

7、创建hadoop用户和hadoop组

groupadd hadoop
useradd hadoop -g hadoop

#通过管理员登陆后修改wqj用户密码

passwd wqj

8、生成ssh密钥

配置详情参看《RedHat hadoop ssh配置安装》

9、创建/opt/module/hadoop和/opt/data/hadoop目录

10、修改/opt/module/hadoop和/opt/data/hadoop目录权限

例chmod -R 700 路径

mkdir -p 路径

11、配置hadoop环境

解压

[root@node1 modules]# tar xvf hadoop-1.0.3.tar 

#修改hadooop-1.0.3.tar的权限

chown hadoop:hadoop /opt/module/hadoop-1.0.3.tar

#配置HADOOP_HOME

1)、$HADOOP_HOME/conf/hadoop-env.sh 

export JAVA_HOME=/tmp/soft-src/jdk1.7.0_67
export HADOOP_HEAPSIZE=512

2)、/etc/profile.d/hadoop.sh

export HADOOP_HOME=/opt/modules/hadoop-1.0.3
export CLASSPATH=.:$HADOOP_HOME/lib:$CLASSPATH
export PATH=.:$HADOOP_HOME/bin:$PATH

12、配置集群

1)、配置core-site.xml

此配置文件,定义Hadoop Core的配置项,例如HDFS和MapReduce常用的I/O设置等。







        
                fs.default.name
                hdfs://master:9000
        
        true

2)、配置hdfs-site.xml







    
        dfs.name.dir
    /opt/data/hadoop/hdfs/name,/data1/hadoop/hdfs/name
        true
    
    
        dfs.data.dir
    /opt/data/hadoop/hdfs/data,/data1/hadoop/hdfs/data
        true
    
    
        fs.checkpoint.dir
/opt/data/hadoop/hdfs/secondarynamenode,/data1/hadoop/hdfs/secondarynamenode
        true
    
    
        dfs.http.address
        master:50070
        true
    
    
        dfs.secondary.http.address
        192.168.232.146:50090
        true
    
        
                dfs.permissions
                false
                true
        
        
        dfs.hosts
        /etc/hadoop/conf/include
        true
    

3)、配置mapred-site.xml







    
        mapred.job.tracker
        master:9001
        true
    
    
        mapred.local.dir
/opt/data/hadoop/mapred/local,/data1/hadoop/mapred/local
        true
    
    
        mapred.system.dir
        /tmp/hadoop/mapred/system
        true
    
    
        mapred.tasktracker.map.tasks.maximum
        
            7
        
        true
    
    
        mapred.tasktracker.reduce.tasks.maximum
        
            7
        
        true
    
    
        mapred.child.java.opt
        -Xmx400m
        true
    
    
        mapred.hosts
        /etc/hadoop/conf/include
        true
    
    
        mapred.jobtracker.restart.recover
        true
    

4)、格式化hdfs

hadoop namenode -format

5)、修改/opt/modules/hadoop目录权限为hadoop

6)、修改/opt/data/hadoop/hdfs/name等文件权限为hadoop

7)、

#启动 master node :

hadoop-daemon.sh start namenode

#启动 data node :

hadoop-daemon.sh start datanode

#启动 jobtracker

hadoop-daemon.sh start jobtracker

#启动 tasktracker

hadoop-daemon.sh start tasktracker

8)、

查看日志信息

[root@master 桌面]# tail -100f /opt/modules/hadoop-1.0.3/libexec/../logs/hadoop-root-datanode-master.log

感谢各位的阅读,以上就是“RedHat hadoop集群的安装步骤”的内容了,经过本文的学习后,相信大家对RedHat hadoop集群的安装步骤这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


分享题目:RedHathadoop集群的安装步骤
网页URL:http://cqcxhl.com/article/piiccj.html

其他资讯

在线咨询
服务热线
服务热线:028-86922220
TOP