Hadoop 实用操作指南
·
HDFS 文件系统操作速查表
| 操作类型 | 命令示例 | 功能说明 |
|---|---|---|
| 目录浏览 | hadoop fs -ls /user/data | 列出指定路径下的所有文件和子目录 |
| 创建目录 | hadoop fs -mkdir -p /user/newdir | 递归创建 HDFS 目录 |
| 文件上传 | hadoop fs -put localfile.txt /user/docs/ | 将本地文件上传至 HDFS 指定目录 |
| 文件下载 | hadoop fs -get /user/logs/app.log ./ | 从 HDFS 下载文件到本地当前目录 |
| 内容查看 | hadoop fs -cat /user/reports/result.txt | 查看 HDFS 文件的全部内容 |
| 尾部查看 | hadoop fs -tail -f /user/logs/access.log | 实时查看文件新增内容（类似 Linux tail -f） |
| 删除文件 | hadoop fs -rm /user/trash/oldfile.csv | 删除 HDFS 上的指定文件 |
| 删除目录 | hadoop fs -rm -r /user/olddir | 递归删除 HDFS 目录及其内容 |
| 空间统计 | hadoop fs -du -h /user | 以人类可读格式显示目录占用空间 |
ARN 资源与作业管理
作业生命周期管理
# 提交MapReduce作业
yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.0.jar wordcount /input /output
# 查看运行中作业
yarn application -list
# 查看历史作业
yarn application -list -appStates FINISHED
# 终止指定作业
yarn application -kill application_1620000000000_0001
集群资源监控
# 查看节点列表及状态
yarn node -list -all
# 查看集群资源使用情况
yarn top
# 查看队列配置
yarn queue -status default
集群服务管控
# 启动全套服务
$HADOOP_HOME/sbin/start-all.sh
# 单独启动HDFS
$HADOOP_HOME/sbin/start-dfs.sh
# 单独启动YARN
$HADOOP_HOME/sbin/start-yarn.sh
# 启动历史服务器
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
# 对应停止命令只需将start替换为stop
状态验证工具
# 检查Java进程状态
jps
# 查看HDFS集群健康状态
hdfs dfsadmin -report
# 检查文件系统完整性
hdfs fsck / -files -blocks
# 查看NameNode状态
hdfs haadmin -getServiceState nn1
核心配置参数摘要
| 配置文件 | 关键参数 | 示例值 | 作用 |
|---|---|---|---|
| core-site.xml | fs.defaultFS | hdfs://nn-host:9000 | 定义默认文件系统 |
| hadoop.tmp.dir | /var/hadoop/tmp | Hadoop 临时文件存储目录 | |
| hdfs-site.xml | dfs.replication | 3 | 默认数据块副本数 |
| dfs.blocksize | 134217728 | 块大小（128MB） | |
| yarn-site.xml | yarn.resourcemanager.hostname | rm-host | 资源管理器主机名 |
| yarn.nodemanager.aux-services | mapreduce_shuffle | 启用 MapReduce 洗牌服务 | |
| mapred-site.xml | mapreduce.framework.name | yarn | 指定 MapReduce 运行框架 |
| mapreduce.jobhistory.address | jh-host:10020 | 历史服务器地址 |
🔹 常用 Web 监控界面
- HDFS 管理界面：
http://namenode-host:9870 - YARN 管理界面：
http://resourcemanager-host:8088 - JobHistory 界面：
http://historyserver-host:19888
码道开发者社区，聚焦华为云码道 CodeArts 代码智能体，沉淀 Agent、Skill、鸿蒙开发实战内容，供开发者查阅资料、交流技术、分享工程实践
更多推荐
4
0- 0
已为社区贡献2条内容
所有评论(0)