Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。整個Hadoop家族由以下幾個子項目組成：

　　1、Hadoop Common：Hadoop體系最底層的一個模塊，為Hadoop各子項目提供各種工具，如：配置文件和日志操作等。

　    2、HDFS：是Hadoop應(yīng)用程序中主要的分布式儲存系統(tǒng)， HDFS集群包含了一個NameNode(主節(jié)點)，這個節(jié)點負(fù)責(zé)管理所有文件系統(tǒng)的元數(shù)據(jù)及存儲了真實數(shù)據(jù)的DataNode(數(shù)據(jù)節(jié)點，可以有很多)。

　　3、MapReduce：是一個軟件框架，用以輕松編寫處理海量(TB級)數(shù)據(jù)的并行應(yīng)用程序，以可靠和容錯的方式連接大型集群中上萬個節(jié)點(商用硬件)。

　　4、Hive：Apache Hive是Hadoop的一個數(shù)據(jù)倉庫系統(tǒng)，促進(jìn)了數(shù)據(jù)的綜述(將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表)、即席查詢以及存儲在Hadoop兼容系統(tǒng)中的大型數(shù)據(jù)集分析。

　　5、Pig：Apache Pig是一個用于大型數(shù)據(jù)集分析的平臺，它包含了一個用于數(shù)據(jù)分析應(yīng)用的高級語言以及評估這些應(yīng)用的基礎(chǔ)設(shè)施。Pig應(yīng)用的閃光特性在于它們的結(jié)構(gòu)經(jīng)得起大量的并行，也就是說讓它們支撐起非常大的數(shù)據(jù)集。Pig是SQL-like語言，是在MapReduce上構(gòu)建的一種高級查詢語言，把一些運(yùn)算編譯進(jìn)MapReduce模型的Map和Reduce中，并且用戶可以定義自己的功能。

　　6、HBase：Apache HBase是Hadoop數(shù)據(jù)庫，一個分布式、可擴(kuò)展的大數(shù)據(jù)存儲。其核心是Google Bigtable論文的開源實現(xiàn)、分布式列式存儲。它是Apache Hadoop在HDFS基礎(chǔ)上提供的一個類Bigatable。

　　7、ZooKeeper：Zookeeper是Google的Chubby一個開源的實現(xiàn)。它是一個針對大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，提供的功能包括：配置維護(hù)、名字服務(wù)、 分布式同步、組服務(wù)等。

　　8、Avro：Avro是doug cutting主持的RPC項目，有點類似Google的protobuf和Facebook的thrift。avro用來做以后hadoop的RPC，使hadoop的RPC模塊通信速度更快、數(shù)據(jù)結(jié)構(gòu)更緊湊。

　　9、Sqoop:Sqoop是一個用來將Hadoop和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個關(guān)系型數(shù)據(jù)庫中數(shù)據(jù)導(dǎo)入Hadoop的HDFS中，也可以將HDFS中數(shù)據(jù)導(dǎo)入關(guān)系型數(shù)據(jù)庫中。

　　10、Mahout:Apache Mahout是個可擴(kuò)展的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘庫，當(dāng)前Mahout支持主要的4個用例：推薦挖掘、聚集、分類和頻繁項集挖掘。

　　11、Cassandra：Apache Cassandra是一個高性能、可線性擴(kuò)展、高有效性數(shù)據(jù)庫，可以運(yùn)行在商用硬件或云基礎(chǔ)設(shè)施上打造完美的任務(wù)關(guān)鍵性數(shù)據(jù)平臺。

　　12、Chukwa：Apache Chukwa是個開源的數(shù)據(jù)收集系統(tǒng)，用以監(jiān)視大型分布系統(tǒng)。建立于HDFS和Map/Reduce框架之上，繼承了Hadoop的可擴(kuò)展性和穩(wěn)定性。Chukwa同樣包含了一個靈活和強(qiáng)大的工具包，用以顯示、監(jiān)視和分析結(jié)果，以保證數(shù)據(jù)的使用達(dá)到最佳效果。

　　13、Ambari：Apache Ambari是一個基于Web的工具，用于配置、管理和監(jiān)視Apache Hadoop集群，支持Hadoop HDFS,、Hadoop MapReduce、Hive、HCatalog,、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同樣還提供了集群狀況儀表盤，比如heatmaps和查看MapReduce、Pig、Hive應(yīng)用程序的能力，以友好的用戶界面對它們的性能特性進(jìn)行診斷。

　　14、HCatalog：Apache HCatalog是Hadoop建立數(shù)據(jù)的映射表和存儲管理服務(wù)，包括提供一個共享模式和數(shù)據(jù)類型機(jī)制，以及提供一個抽象表，這樣用戶就不需要關(guān)注數(shù)據(jù)存儲的方式和地址。

　　15、Chukwa：Chukwa是基于Hadoop的大集群監(jiān)控系統(tǒng)，由yahoo貢獻(xiàn)。

　　大數(shù)據(jù)培訓(xùn)需要掌握的知識點很多，由淺入深、由易到難是一個比較長期的過程。如果你想快速而系統(tǒng)的掌握大數(shù)據(jù)技術(shù)，最有效的方式就是參加培訓(xùn)班。

　　以上就是奇酷為大家分享的“大數(shù)據(jù)培訓(xùn)-Hadoop相關(guān)知識”謝謝大家觀看，如果對大數(shù)據(jù)感興趣的話，想學(xué)大數(shù)據(jù)培訓(xùn)的，也可以在線咨詢，我們將竭誠為你解答。