Hadoop环境如何配置及启动

这篇文章主要介绍Hadoop环境如何配置及启动，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

目前累计服务客户上千家，积累了丰富的产品开发及服务经验。以网站设计水平和技术实力，树立企业形象，为客户提供网站建设、成都网站设计、网站策划、网页设计、网络营销、VI设计、网站改版、漏洞修补等服务。创新互联始终以务实、诚信为根本，不断创新和提高建站品质，通过对领先技术的掌握、对创意设计的研究、对客户形象的视觉传递、对应用系统的结合，为客户提供更好的一站式互联网解决方案，携手广大客户，共同发展进步。

core-site.xml

fs.defaultFS
hdfs://slave2.hadoop:8020
true


hadoop.tmp.dir
file:/home/hadoop/hadoop-root/tmp

 
fs.checkpoint.period 
300 
The number of seconds between two periodic checkpoints. 
 
 
fs.checkpoint.size 
67108864 
The size of the current edit log (in bytes) that triggers a periodic checkpoint even if the fs.checkpoint.period hasn't expired.   
 
 
fs.checkpoint.dir 
${hadoop.tmp.dir}/dfs/namesecondary 
Determines where on the local filesystem the DFS secondary namenode should store the temporary images to merge.If this is a comma-delimited list of directories then the image is replicated in all of the directories for redundancy. 
 

hdfs-site.xml

dfs.namenode.name.dir
/home/hadoop/hadoop-root/dfs/name
true


dfs.datanode.data.dir
/home/hadoop/hadoop-root/dfs/data
true


dfs.replication
3


dfs.permissions
false


  
dfs.namenode.secondary.http-address
slave1:50090 

mapred-site.xml

 
   mapreduce.framework.name
   yarn
 



    mapred.system.dir
    /home/hadoop/hadoop-root/mapred/system
    true


    mapred.local.dir
    /home/hadoop/hadoop-root/mapred/local
    true



    mapreduce.tasktracker.map.tasks.maximum
    2


    mapreduce.tasktracker.reduce.tasks.maximum
    1



    mapreduce.job.maps
    2


    mapreduce.job.reduces
    1



mapreduce.tasktracker.http.threads
50


io.sort.factor
20


mapred.child.java.opts
-Xmx400m


mapreduce.task.io.sort.mb
200


mapreduce.map.sort.spill.percent
0.8


mapreduce.map.output.compress
true


mapreduce.map.output.compress.codec
org.apache.hadoop.io.compress.DefaultCodec


mapreduce.reduce.shuffle.parallelcopies
10

一、恢复hadoop
1、停止所有服务
2、删除/home/hadoop/hadoop-root/dfs下的data和name，并且重新建立
3、删除/home/hadoop/hadoop-root/tmp下的文件
4、在namenode节点执行 hadoop namenode -format
5、启动hadoop服务

-----自此hadoop恢复----
6、停止hbase服务，停不掉就杀掉
7、（多个节点）进入/tmp/hbase-root/zookeeper 删除所有文件
8、启动hbase服务

以上是“Hadoop环境如何配置及启动”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！