Hadoop 的核心用途

Hadoop 是一个开源的分布式计算框架，主要用于处理海量数据的存储和计算问题。其设计初衷是解决传统数据库无法应对的大规模数据处理需求，尤其适合非结构化或半结构化数据。

主要功能场景

分布式存储（HDFS）
通过 Hadoop Distributed File System (HDFS) 将数据分散存储在多个节点上，支持高容错性和横向扩展。例如，存储日志文件、传感器数据等。

批处理计算（MapReduce）
提供 MapReduce 编程模型，用于并行处理大规模数据集。典型应用包括离线数据分析、ETL（数据提取转换加载）等。

资源管理（YARN，Yet Another Resource Negotiator）
作为资源调度平台，管理集群中的计算资源，支持多任务并发运行。允许其他计算框架（如 Spark、Flink）在 Hadoop 上运行。

典型行业应用

• 互联网行业：用户行为分析、推荐系统（如电商平台）。
• 金融领域：风险建模、欺诈检测（处理交易记录）。
• 物联网（IoT）：存储和分析设备生成的时间序列数据。

技术优势

• 高容错性：数据自动复制多份，节点故障时不影响整体服务。
• 低成本：可使用普通硬件构建集群，降低企业投入。
• 可扩展性：通过增加节点轻松扩展存储和计算能力。

与其他技术的对比

与传统关系型数据库相比，Hadoop 更适合处理 PB 级数据，但延迟较高（适合离线场景）。实时处理需结合 Spark 或 Flink 等框架。

代码示例（WordCount 示例展示 MapReduce 逻辑）：

// Mapper 阶段  
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {  
    public void map(LongWritable key, Text value, Context context) {  
        String[] words = value.toString().split(" ");  
        for (String word : words) {  
            context.write(new Text(word), new IntWritable(1));  
        }  
    }  
}  

// Reducer 阶段  
public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {  
    public void reduce(Text key, Iterable<IntWritable> values, Context context) {  
        int sum = 0;  
        for (IntWritable val : values) {  
            sum += val.get();  
        }  
        context.write(key, new IntWritable(sum));  
    }  
}  

公式示例（数据分片大小计算）：
$$ \text{BlockSize} = \max(\text{dfs.blocksize}, \text{文件大小} / \text{节点数}) $$