centos虚拟机与hadoop集群搭建--临时目录配置隐患分析与解决方案
·
临时目录配置隐患分析与解决方案
问题分析
在Hadoop安装配置阶段,core-site.xml中设置的临时目录存在隐患:
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop01</value>
</property>
主要风险:
- Linux系统的/tmp目录会在重启时自动清空
- 导致NameNode无法定位/tmp/hadoop01/dfs/name目录
- 最终引发Hadoop集群启动失败
解决方案
将临时目录迁移至永久存储位置
实施步骤
-
停止相关服务
/usr/local/hadoop-2.8.5/sbin/stop-dfs.sh /usr/local/hadoop-2.8.5/sbin/stop-yarn.sh -
创建永久目录(所有节点执行)
mkdir -p /opt/hadoop-data -
修改配置文件
vim /usr/local/hadoop-2.8.5/etc/hadoop/core-site.xml更新配置项:
<value>/opt/hadoop-data</value> -
同步配置
scp /usr/local/hadoop-2.8.5/etc/hadoop/core-site.xml hadoop02:/usr/local/hadoop-2.8.5/etc/hadoop/ scp /usr/local/hadoop-2.8.5/etc/hadoop/core-site.xml hadoop03:/usr/local/hadoop-2.8.5/etc/hadoop/ -
重新初始化并启动
hdfs namenode -format start-dfs.sh start-yarn.sh -
验证
- 执行
jps检查服务状态 - 访问
http://192.168.240.11:50070和http://192.168.240.11:8088确认Web UI
- 执行
更多推荐


所有评论(0)