1、Hadoop 配置文件

core-site.xml:文件系统的默认地址、临时目录等

hdfs-site.xml:NameNode、DataNode 的地址和端口,数据块副本数量等

mapred-site.xml:作业历史服务器地址、MapReduce 任务的资源分配等

yarn-site.xml:ResourceManager 和 NodeManager 的地址和端口、资源分配策略等

hadoop-env.sh:设置 Hadoop 运行所需的各种环境变量

yarn-env.sh:对 YARN 的资源管理器(ResourceManager)、节点管理器(NodeManager)等组件的运行环境进行定制。

mapred-env.sh:Map 和 Reduce 任务的内存分配等

slaves:指定 Hadoop 集群中从节点(DataNode 和 NodeManager 所在节点)的主机名或 IP 地址。

2、简单的 Hadoop 集群搭建

JDK 安装
配置 SSH 免密登录
配置 hadoop 核心文件
格式化 namenode

Logo

码道开发者社区,聚焦华为云码道 CodeArts 代码智能体,沉淀 Agent、Skill、鸿蒙开发实战内容,供开发者查阅资料、交流技术、分享工程实践

更多推荐