萌新带你入门大数据之Hadoop简介

网友投稿 672 2022-05-29

一、什么是Hadoop

1、Hadoop是什么

(1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构

(2)主要解决海量数据的存储和海量数据的分析计算问题

(3)广义上来说,Hadoop通常是指一个更广泛的概念–Hadoop生态圈

2、Hadoop发展历史:

(1)Lucene框架是Doug Cutting开创的开源软件,用Jav a书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎。

(2)2001年年底Lucene成为Apache基金会的一个子项目。

(3)对于海量数据的场景,Lucene面对与Google同样的困难,存储数据困难,检索速度慢。

(4)学习和模仿Google解决这些问题的办法︰微型版Nutch。

(5)可以说Google是Hadoop的思想之源(Google在大数据方面的三篇论文)

(6)2003-2004年,Google公开了部分GFS和MapReduce思想的细节,以此为基础Doug Cutting等人用了2年业余时间实现了DFS和口MapReduce机制,使Nutch性能飙升。

(7)2005年Hadoop 作为Lucene的子项目Nutch的一部分正式引入Apache基金会。

(8)2006年3月份,Map-Reduce和Nutch Distributed File Systerm (NDFS)分别被纳入到Hadoop项目中,Hadoop就此正式诞生,标志着大数据时代来临。

3、Hadoop三大发行版本

Apache:最原始版本,对于入门学习最好

Cloudera(CDH版):在大型互联网企业中用的较多

Hortonworks:文档较好,收费

二、Hadoop优势

1、Hadoop优势(4高)

(1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失

(2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点

(3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度

(4)高容错性:能够自动将失败的任务重新分配

2、Hadoop的组成

Hadoop1.x:Common(辅助工具)、HDFS(数据存储)、MapReduce(计算+资源调度)

Hadoop2.x:Common(辅助工具)、HDFS(数据存储)、MapReduce(计算)、Yarn(资源调度) ----> 模块化,解耦

萌新带你入门大数据之Hadoop简介

在Hadoop1.x时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大,在Hadoop2.x时代,增加了Yarn,Yarn只负责资源的调度,MapReduce只负责运算。

(1)NameNode(nm):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等

(2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和

(3)Secondary NameNode(2nm):用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照

(1)ResourceManager(RM):整个集群资源节点的老大,处理客户端请求,监控NodeManager,启动或监控ApplicationMaster,资源的分配与调度

(2)NodeManager(NM):单个节点资源的老大,管理单个节点上资源、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令

(3)ApplicationMaster(AM):负责数据的切分、为应用程序申请资源并分配给内部的任务、任务的监控与容错

(4)Container:是Yarn中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等

MapReduce将计算过程分为两个阶段:Map和Reduce

(1)Map:阶段并行处理输入数据 -->(分)

(2)Reduce:对Map结果进行汇总 -->(合)

3、大数据技术生态体系

(1)数据来源层:数据库(结构化数据)、文件日志(半结构化数据)、视频、PPT等(非结构化数据)

(2)数据传输层:Sqoop数据传递、Flume日志收集、Kafka消息队列

(3)数据存储层:HDFS文件存储、HBase非关系型数据库

(4)资源管理层:Yarn资源管理

(5)数据计算层:MapReduce离线计算(Hive数据查询、Mahout数据挖掘)、Spark Core内存计算(Mahout数据挖掘、Spark Mlib数据挖掘、Spark R数据分析、Spark Sql数据查询、Spark Streaming实时计算)、Storm实时计算

(6)任务调度层:Oozie任务调度、Azkaban任务调度

(7)业务模型层:业务模型、数据可视化、业务应用

Hadoop 大数据

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:RedLock
下一篇:【PHP】window下搭建php环境
相关文章