Hadoop 配置文件以及简单的 Hadoop 集群搭建
·
1、Hadoop 配置文件
core-site.xml:文件系统的默认地址、临时目录等
hdfs-site.xml:NameNode、DataNode 的地址和端口,数据块副本数量等
mapred-site.xml:作业历史服务器地址、MapReduce 任务的资源分配等
yarn-site.xml:ResourceManager 和 NodeManager 的地址和端口、资源分配策略等
hadoop-env.sh:设置 Hadoop 运行所需的各种环境变量
yarn-env.sh:对 YARN 的资源管理器(ResourceManager)、节点管理器(NodeManager)等组件的运行环境进行定制。
mapred-env.sh:Map 和 Reduce 任务的内存分配等
slaves:指定 Hadoop 集群中从节点(DataNode 和 NodeManager 所在节点)的主机名或 IP 地址。
2、简单的 Hadoop 集群搭建
JDK 安装
配置 SSH 免密登录
配置 hadoop 核心文件
格式化 namenode
更多推荐


所有评论(0)