1 hadoop概述

一个开源的分布式计算框架,用于存储和处理大规模数据集。其核心设计思想是将数据分散存储在多台机器上,并通过并行计算实现高效处理。

Hadoop的核心组件包括:

  • HDFS(Hadoop Distributed File System):分布式文件系统,提供高容错性、高吞吐量的数据存储。
  • MapReduce:分布式计算模型,用于处理海量数据。
  • YARN(Yet Another Resource Negotiator):资源管理系统,负责集群资源调度和任务管理。

2 hdfs的部署

我跟着老师ppt的教程部署了三台克隆的虚拟机,但是由于我linux操作命令不熟,导致我现在部署卡住了,我准备找时间把命令回忆一下再继续部署。配置部署方面我还是有问题。

在听课的时候老师更换平台的速度太快了,我可能需要一个步骤详尽的ppt......

3 进一步想了解的问题:我想知道在一个项目里面出现基于hadoop的海量数据数据处理的具体实例分析。

4 大数据有啥用?

每个人每时每刻都会产生不同的数据,大数据不仅可以分析人们的行为还可以预测人们的行为趋势。每个领域都在不约而同在大数据领域发展自己的业务,我们应该顺时代学会分析大数据。大数据的核心价值,是让决策从“经验驱动”变成“数据驱动”,让大概变成精准。

5.hadoop会被淘汰吗?

  我认为会被淘汰,但是不会马上被淘汰。

  新产品会迭代旧产品是必然的趋势。在十年前,hadoop能处理海量数据,但是因为时代限制,现在的hadoop维护复杂,又不能应对实施的需求,做到及时更新产品,大家必然会选择更快的产品。并且市面上已经开始有新产品出现了。新产品已经渐渐变成主流,hadoop淘汰只是时间问题。

Logo

码道开发者社区,聚焦华为云码道 CodeArts 代码智能体,沉淀 Agent、Skill、鸿蒙开发实战内容,供开发者查阅资料、交流技术、分享工程实践

更多推荐