躬行系列-手动控制active的hadoop集群

配置文件

core-site.xml

<configuration>
 <!--多个namenode地址组装成一个集群,这里mycluster变量名是供hdfs-site.xml里文件引用的-->
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://gms-cluster</value>
 </property>
 <!--指定hadoop运行时产生文件的存储目录-->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/usr/local/hadoop-3.3.3/data</value>
 </property>
</configuration>

hdfs-site.xml

<configuration>
 <!--name node 数据存储目录-->
 <property>
 <name>dfs.namenode.name.dir</name>
 <value>file://${hadoop.tmp.dir}/name</value>
 </property>
 <!--data node 数据存储目录-->
 <property>
 <name>dfs.datanode.data.dir</name>
 <value>file://${hadoop.tmp.dir}/data</value>
 </property>
 <!--journal node 数据存储目录-->
 <property>
 <name>dfs.journalnode.edits.dir</name>
 <value>${hadoop.tmp.dir}/jn</value>
 </property>
 <!--集群名称-->
 <property>
 <name>dfs.nameservices</name>
 <value>gms-cluster</value>
 </property>
 <!--集群中的namenode都有哪些-->
 <property>
 <name>dfs.ha.namenodes.gms-cluster</name>
 <value>nn1,nn2,nn3</value>
 </property>
 <!--namenode 内部通信rpc地址-->
 <property>
 <name>dfs.namenode.rpc-address.gms-cluster.nn1</name>
 <value>hadoop-4:8020</value>
 </property>
 <property>
 <name>dfs.namenode.rpc-address.gms-cluster.nn2</name>
 <value>hadoop-5:8020</value>
 </property>
 <property>
 <name>dfs.namenode.rpc-address.gms-cluster.nn3</name>
 <value>hadoop-6:8020</value>
 </property>
 <!--namenode web访问http地址-->
 <property>
 <name>dfs.namenode.http-address.gms-cluster.nn1</name>
 <value>hadoop-4:9870</value>
 </property>
 <property>
 <name>dfs.namenode.http-address.gms-cluster.nn2</name>
 <value>hadoop-5:9870</value>
 </property>
 <property>
 <name>dfs.namenode.http-address.gms-cluster.nn3</name>
 <value>hadoop-6:9870</value>
 </property>
 <!--指定namenode 元数据在JournalNode上的存放位置-->
 <property>
 <name>dfs.namenode.shared.edits.dir</name>
 <value>qjournal://hadoop-4:8485;hadoop-5:8485;hadoop-6:8485/gms-cluster</value>
 </property>
 <!--访问代理:client用于确定哪个namenode是active-->
 <!-- HA集群中,用户并不知道到底哪一台机器是active的,所以访问的时候,直接访问集群名称(gms-cluster),然后请求就会交给下面这个代理类,它会帮我们找到当前的active并将访问转发 -->
 <property>
 <name>dfs.client.failover.proxy.provider.gms-cluster</name>
 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>
 <!--隔离机制(防止脑裂),即同一时刻只能有一个台服务器对外响应-->
 <property>
 <name>dfs.ha.fencing.methods</name>
 <value>sshfence</value>
 </property>
 <!--使用隔离机制时,需要ssh登录(自动故障转移的时候会用到)-->
 <property>
 <name>dfs.hafencing.ssh.private-key-files</name>
 <value>/root/.ssh/id_rsa</value>
 </property>
 <!--启用nn故障自动转移-->
 <property>
 <name>dfs.ha.automatic-failover.enabled</name>
 <value>true</value>
 </property>
 <!--指定hdfs副本数-->
 <property>
 <name>dfs.replication</name>
 <value>3</value>
 </property>
</configuration>
  • 启动journal node(三台都启动)
  • hdfs --daemon start journalnode
  • 任选一台,格式化name node
  • hdfs namenode -format
  • 启动
  • hdfs --daemon start namenode
  • 其他两台,同步主节点的name node数据
  • hdfs namenode -bootstrapStandby
  • 其他两台,也启动name node
  • hdfs --daemon start namenode
  • 三台的ip:9870都能正常访问到hadoop的控制台,并且都是standby状态

启停命令


hdfs --daemon stop journalnode
hdfs --daemon stop namenode

作者:馒头原文地址:https://segmentfault.com/a/1190000042687339

%s 个评论

要回复文章请先登录注册