hadoop是大数据产物，它都包含什么？

（一）hadoop是大数据产物

   什么是大数据哪？看一下大数据的4V特点吧。

    Volume容量大。只有几(十)GB的数据不能称为大数据，这样的数据在传统的RDBMS中就可以处理。当数据达到几百GB，甚至TB级别时，RDBMS甚至数据仓库就处理不了了。这就是大数据。

    Variety 类型多样。数据的异构(不同的数据结构)、多样也是大数据的特点，比如日志、文本、word、pdf、ppt、excel、jpg、gif、avi等各种图、文、音频、视频文件。这些文件类型是传统的RDBMS处理不了的，也没有办法检索、分析。

    Velocity 访问迅速。数据是企业的命脉，数据必须被快速处理，这正是传统的RDBMS的优势所在。但是在海量数据面前，RDBMS就无能为力了。

    Value 价值密度低。最有价值的数据已经被转换处理为结构化数据，存储在数据库、数据仓库中。对于海量的价值密度低的大数据，向来不是数据库关注的对象。但是海量的大数据并不是没有价值的，比如长尾理论、“啤酒与尿布”，都是基于大数据产生的商业价值。因此提炼大数据中的商业价值是一个企业新的增长点，被越来越多的企业重视。

    上面的4V带来了大数据的难以存储、难以管理、难以利用的难题。怎么办？hadoop出场了！

    数据是存储在磁盘介质中的，海量的数据必然存储在海量的磁盘中。这么多的磁盘已经超出了Windows、Linux等操作系统的文件管理能力，因此产生了分布式的文件管理系统，即DFS(Distributed File System)。分布式文件管理系统是用来管理分布在众多磁盘中的数据。分布式文件系统需要考虑分布式的读、写、检索、数据一致性、磁盘故障、冗余等问题。hadoop的hdfs就是一个分布式的dfs，专门用于在分散的磁盘中存储海量数据。

    数据被存储，那是档案馆干的事情，这可不是企业想干的事情。数据只有被利用，产生出商业价值才是有意义的。那么就需要对大数据进行检索、查询，做各种变换，这统统称之为“计算”。最常见的计算就是去重、排序。有人想，这有什么难事，找台高性能的服务器跑就行了。其实没那么简单，因为磁盘的寻址时间、磁盘I/O、网络I/O，相对于大数据而言，是非常大的开销。我们想了个办法：把海量数据分成小块，让一台机器处理一小块数据，所有的机器同时工作。最后把结果汇总起来。这就是“并行计算”。hadoop中的MapReduce就是专门用来做分布式计算的并行处理框架。

（二）hadoop都包含哪些技术：

1、Hadoop包含哪些技术?
Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie。

2、简介
Common：在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的子项目，其余内容为Hadoop Common。
Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。
MapReduce：并行计算框架，0.20前使用org.apache.hadoop.mapred旧接口，0.20版本开始引入org.apache.hadoop.mapreduce的新API。
HDFS：Hadoop分布式文件系统(Hadoop Distributed File System)。
Pig：大数据分析平台，为用户提供多种接口。
Hive：数据仓库工具，由Facebook贡献。
Hbase：类似Google BigTable的分布式NoSQL列数据库。(HBase和Avro已经于2010年5月成为顶级Apache项目)。
ZooKeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。
Sqoop：Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库(例如 ：MySQL, Oracle, Postgres等)中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。
Oozie：负责MapReduce作业调度。

不错，支持下