hadoop-2.7.2-HAbet36官网网址_bet36体育网址_bet36在线投注网笔记

hadoop

2016-11-02

409

1

配置方案如图

? NN DN ZK ZKFC JN RM NM(任务管理器) ?HMaster ?Region Server
Node1 1 ? 1 1 ? 1 ? ? ?1
Node2 1 1 1 1 1 ? 1 ? ?1
Node3 ? 1 1 ? 1 ? 1 ?1 ?1
Node4 ? 1 ? ? 1 ? 1 ?1 ?1

一、进入hadoop2.7/etc/hadoop/文件夹,修改hadoop-env.sh的JAVA_HOME路径。

二、?修改hdfs-site.xml配置文件

 1、配置命名服务


  dfs.nameservices
  mycluster



2、配置所有namenode名字


  dfs.ha.namenodes.mycluster
  nn1,nn2


3、配置RPC协议端口


  dfs.namenode.rpc-address.mycluster.nn1
  node1:8020


  dfs.namenode.rpc-address.mycluster.nn2
  node2:8020



4、配置http端口


  dfs.namenode.http-address.mycluster.nn1
  node1:50070


  dfs.namenode.http-address.mycluster.nn2
  node2:50070



5、配置journalname的uri


  dfs.namenode.shared.edits.dir
  qjournal://node2:8485;node3:8485;node4:8485/mycluster



6、配置客户端使用的类


  dfs.client.failover.proxy.provider.mycluster
  org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider



7、配置sshfence


  dfs.ha.fencing.methods
  sshfence


  dfs.ha.fencing.ssh.private-key-files
  /root/.ssh/id_dsa



8、配置journalname的工作目录


  dfs.journalnode.edits.dir
  /opt/journalname/data



9、开启自动切换


   dfs.ha.automatic-failover.enabled
   true
 



三、配置core-site.xml配置文件

1、配置namenode入口


  fs.defaultFS
  hdfs://mycluster



2、配置zookeeper集群的位置


   ha.zookeeper.quorum
   node1:2181,node2:2181,node3:2181
 


3、配置hadoop的工作目录


   hadoop.tmp.dir
   /opt/hadoop2
 



四、配置slaves

node2
node3
node4



五、进入zookeeper的conf/zoo.cfg 配置zookeeper集群

1、

dataDir=/opt/zookeeper


2、

server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888


3、创建mkdir /opt/zookeeper,创建一个文件myid
里面写上机器编号(node1里写1,Node2里写2)每台zookeeper机器都要创建
4、在etc/profile配置zookeeper的环境变量

export PATH=$PATH:/home/zookeeper-3.4.6/bin



六、启动集群

1、启动zookeeper集群,装有zookeeper都要启动,在zookeeper/bin/zkServer.sh start

2、启动JournalNode daemons(仅在所在的机器启动)
hadoop/sbin/

./hadoop-daemon.sh start journalnode



3、格式化namenode(任意一个)
hadoop/bin/

./hdfs namenode -format


然后启动这个节点,复制到另一个节点

 ./hadoop-daemon.sh start namenode


在另一台没有格式化的机器执行
hadoop/bin下

 ./hdfs namenode -bootstrapStandby



4、停止hdfs的所有服务

./stop-dfs.sh



5、初始化zkfc

./hdfs zkfc -formatZK



6、启动hdfs

 ./start-dfs.sh

七、配置mapreduce

1、?mapred-site.xml


    
        mapreduce.framework.name
        yarn
    

2、yarn-site.xml

     yarn.resourcemanager.hostname
     node1


     yarn.nodemanager.aux-services
     mapreduce_shuffle


     yarn.nodemanager.aux-services.shuffle.class
     org.apache.hadoop.mapred.ShuffleHandler



八、配置hbase

1、修改
hbase-env.sh的Javahome

export HBASE_MANAGES_ZK=false



2.修改hbase-site.xml


   
 hbase.rootdir
 
 hdfs://node1:8020/hbase
  




 hbase.cluster.distributed
  
  true




    
  hbase.zookeeper.quorum
   
   node1,node2,node3
  
  
 
   
    
  hbase.zookeeper.property.dataDir
  
    /opt/zookeeper
  
  




3、修改regionservers

node1
node2
node3
node4



4、复制hdfs-site.xml到hbase/conf下

5、启动hbase
随意一台机器都可以启动,启动的那台机器为hmaster

./start-hbase.sh


也可以在其他机器增加hmaster

./hbase-daemon.sh start master




其他:
一些/etc/profile变量

export HADOOP_HOME=/home/hadoop-2.7.2
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOOME/sbin:$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"


遇到的问题:
1、bet36官网网址_bet36体育网址_bet36在线投注网过程有些步骤需要关闭防火墙
2、虽然我在64位的linux上重新编译了hadoop,并跟踪编译后端hadoop2.7.2进行部署。部署后启动,但出现了警告:
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
该警告通过如下方法消除了:
在hadoop-env.sh中 修改HADOOP_OPTS:
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"



博文地址:http://julyme.com/20161102/11.html
个人博客地址:http://julyme.com

转载请注明出处: http://www.julyme.com/20161102/11.html

打赏一个呗~~(微信)

发表评论

全部评论:1条

Julyme 2016-11-10

t

Julyme

感觉还行吧。

Julyme的IT技术分享

友情链接




/sitemap