躬行系列-hadoop集群部署
Java安装
[root@localhost jdk-11.0.15]# cd /etc/profile.d/
[root@localhost profile.d]# vim my_env.sh
[root@localhost profile.d]# source /etc/profile
机器初始配置
因为我这是虚拟机,所以要配置固定ip。如果你也和我一样是自己测试,一定注意netmask和gateway要更换成自己的。
vim /etc/sysconfig/network-scripts/ifcfg-enp0s3
-------------------------------------
IPADDR="192.168.0.114"
NETMASK="255.255.255.0"
GATEWAY="192.168.0.1"
DNS1="114.114.114.114"
hostname
hostnamectl set-hostname hadoop-1
cat >> /etc/hosts << EOF
192.168.0.114 hadoop-1
192.168.0.115 hadoop-2
192.168.0.116 hadoop-3
EOF
集群规划
ip | name | 组件 |
---|---|---|
192.168.0.114 | hadoop-1 | namenode datanode journalnode |
192.168.0.115 | hadoop-2 | namenode datanode journalnode |
192.168.0.116 | hadoop-3 | namenode datanode journalnode |
配置
上传解压等忽略
两个核心配置文件:core-site.xml hdfs-site.xml
位置:/usr/hadoop/hadoop-3.3.3/etc/hadoop