临时目录配置隐患分析与解决方案

问题分析

在Hadoop安装配置阶段,core-site.xml中设置的临时目录存在隐患:

<property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop01</value>
</property>

主要风险

  • Linux系统的/tmp目录会在重启时自动清空
  • 导致NameNode无法定位/tmp/hadoop01/dfs/name目录
  • 最终引发Hadoop集群启动失败

解决方案

将临时目录迁移至永久存储位置

实施步骤

  1. 停止相关服务

    /usr/local/hadoop-2.8.5/sbin/stop-dfs.sh
    /usr/local/hadoop-2.8.5/sbin/stop-yarn.sh
    

  2. 创建永久目录(所有节点执行)

    mkdir -p /opt/hadoop-data
    

  3. 修改配置文件

    vim /usr/local/hadoop-2.8.5/etc/hadoop/core-site.xml
    

    更新配置项:

    <value>/opt/hadoop-data</value>
    

  4. 同步配置

    scp /usr/local/hadoop-2.8.5/etc/hadoop/core-site.xml hadoop02:/usr/local/hadoop-2.8.5/etc/hadoop/
    scp /usr/local/hadoop-2.8.5/etc/hadoop/core-site.xml hadoop03:/usr/local/hadoop-2.8.5/etc/hadoop/

  5. 重新初始化并启动

    hdfs namenode -format
    start-dfs.sh
    start-yarn.sh
    

  6. 验证

    • 执行jps检查服务状态
    • 访问http://192.168.240.11:50070和http://192.168.240.11:8088确认Web UI

Logo

码道开发者社区,聚焦华为云码道 CodeArts 代码智能体,沉淀 Agent、Skill、鸿蒙开发实战内容,供开发者查阅资料、交流技术、分享工程实践

更多推荐