奇酷教育大數(shù)據(jù)培訓(xùn) 分布式處理技術(shù)
來(lái)源：
奇酷教育 發(fā)表于：
奇酷教育大數(shù)據(jù)培訓(xùn) 分布式處理技術(shù)分布式處理系統(tǒng)可以將不同地點(diǎn)的或具有不同功能的或擁有不同數(shù)據(jù)的多臺(tái)計(jì)算機(jī)用通信網(wǎng)絡(luò)連接起來(lái)，
分布式處理技術(shù)分布式處理系統(tǒng)可以將不同地點(diǎn)的或具有不同功能的或擁有不同數(shù)據(jù)的多臺(tái)計(jì)算機(jī)用通信網(wǎng)絡(luò)連接起來(lái)，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務(wù)—這就是分布式處理系統(tǒng)的定義。
Hadoop，Hadoop是一個(gè)實(shí)現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。
而MapReduce是Google提出的一種云計(jì)算的核心計(jì)算模式，是一種分布式運(yùn)算技術(shù)，也是簡(jiǎn)化的分布式編程模式，MapReduce模式的主要思想是將自動(dòng)分割要執(zhí)行的問(wèn)題（例如程序）拆解成map（映射）和reduce（化簡(jiǎn)）的方式， 在數(shù)據(jù)被分割后通過(guò)Map 函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計(jì)算機(jī)機(jī)群處理達(dá)到分布式運(yùn)算的效果，在通過(guò)Reduce 函數(shù)的程序?qū)⒔Y(jié)果匯整，從而輸出開(kāi)發(fā)者需要的結(jié)果。
再來(lái)看看Hadoop的特性，第一，它是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。其次，Hadoop 是高效的，因?yàn)樗圆⑿械姆绞焦ぷ?，通過(guò)并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級(jí)數(shù)據(jù)。此外，Hadoop 依賴(lài)于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。
你也可以這么理解Hadoop的構(gòu)成，Hadoop=HDFS（文件系統(tǒng)，數(shù)據(jù)存儲(chǔ)技術(shù)相關(guān)）+HBase（數(shù)據(jù)庫(kù)）+MapReduce（數(shù)據(jù)處理）+……Others
Hadoop用到的一些技術(shù)如下：
HDFS: Hadoop分布式文件系統(tǒng)(Distributed File System) － HDFS (HadoopDistributed File System)
MapReduce：并行計(jì)算框架
HBase: 類(lèi)似Google BigTable的分布式NoSQL列數(shù)據(jù)庫(kù)。
Hive：數(shù)據(jù)倉(cāng)庫(kù)工具，由Facebook貢獻(xiàn)。
Zookeeper：分布式鎖設(shè)施，提供類(lèi)似Google Chubby的功能，由Facebook貢獻(xiàn)。
Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機(jī)制。
Pig:大數(shù)據(jù)分析平臺(tái)，為用戶(hù)提供多種接口。
Ambari：Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集群。
Sqoop：用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫(kù)間進(jìn)行數(shù)據(jù)的傳遞。
您現(xiàn)在所在的位置：首頁(yè) >關(guān)于奇酷 > 行業(yè)動(dòng)態(tài) > 奇酷教育大數(shù)據(jù)培訓(xùn) 分布式處理技術(shù)
