懵懵懂懂,不知不觉和小伙伴们就搞到了云计算这个东西上来了,在没接触这个之前,心里只是充满了崇敬之情,现在还是充满崇敬之情,不同的想法就是现在大体知道了他是个什么东西,所谓的云计算就是(本人目前的肤浅的理解)“一大堆衣服自己慢慢洗经过很长时间也洗得完,但是把它分给许多人来洗是不是会快很多”云计算也就是这个意思,随着当今信息时代的告诉发展,数据可以说是爆发式的增长,而且数据中包含的信息越来越得到大家的重视,然而,数据是很乱的,很杂的,我们所需要的有用的信息也就只占其中的一部分,因此我们所要做的就是在大量数据中挖掘出我们所想要的数据,因此云计算就派上了用场了,把大量的数据分配到很多很多的机器上去处理就是云计算所要做的。
上面说云计算就是把数据进行分配,让更多的机器来做一件大的事情,因此就到了今天的主角出场了“Hadoop”,Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。
如果要想知道Hadoop内部是怎么实现的 ,我们就要去看看他的源码了,网上 Hadoop源码分析一大堆,Apache官网也能下载,这几天看了一点,今天说说Hadoop中的包,他所有的包都在(org.apache.hadoop)下面。具体有以下一些包
hadoop中主要的五个包: mapreduce:hadoop的Map/Reduce实现 fs:文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口 hdfs:HDFS,Hadoop的分布式文件系统的实现 ipc:一个简单的IPC的实现,依赖于io提供的编解码功能 io:表示层。将各种数据编码/解码,方便在网络上的传输 hadoop中其他的一些包: tool:提供一些命令行工具,如DistCp,archive filecache:提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问的速度 net:封装部分网络功能如:DNS,socket security:用户和用户组的信息 conf:系统的配置参数 metrics:系统统计数据的收集,属于网管范畴 util:工具类 record:根据DDL(数据描述语言)自动生成他们的编解码函数,目前可以提供c++和Java http:基于Jetty的HTTP Servlet,用户通过浏览器可以观察文件系统的一些状态信息和日志 log:提供HTTP访问日志的HTTP Servlet
慢慢来,继续我们的源码之路,任重道远。
相关推荐
Hadoop源码分析(完整版),详细分析了Hadoop源码程序,为学习Hadoop的人提供很好的入门指导
Hadoop源码分析视频下载
caibinbupt的Hadoop源码分析完整版,包括 HDFS 和 MapReduce。 HDFS: 41章 MapReduce: 14章
Hadoop源码分析完整版..
hadoop 源码分析 文档
Hadoop源码分析,Map-Reduce作业提交运行入手分析这个过程中涉及到的Hadoop源码架构,此外本文基于的Hadoop版本是2.6.4
学习Hadoop源码过程中做的源码分析,共享一下,PPT中有我的邮箱,可以互相探讨。Hadoop源码分析(client端提交job到rm端)
Hadoop源代码分析(完整版).pdf
大数据处理系统 hadoop源码分析 基于hadoop2.6
hadoop源码分析hadoop源码分析
一个比较详细的hadoop源码分析文档,内容很详实,包括hadoop、hdfs、hive等等等
Hadoop源码分析.rar 有助于hadoop学习者进一步学习!! 非常好的资源!!
自己写的PPT,详解Hadoop源码及其相关流程
Hadoop的源代码分析总共55章,包括HDFS: 41章、MapReduce: 14章。
NULL 博文链接:https://zqhxuyuan.iteye.com/blog/1879292
NULL 博文链接:https://hadoopcn.iteye.com/blog/1165888
hadoop源码分析-mapreduce部分.doc
该压缩包包含Hadoop实战、Hadoop权威指南(第二版)、Hadoop源码分析(完整版)的内容,有助于初、中、高级工程师的理解和提升