中文在线免费看视频_国产成人精品亚洲日本在线观看_亚洲精品第一综合99久久_国产亚洲精品日韩综合网

　　好程序員大數(shù)據(jù)培訓(xùn)分享Hadoop入門進(jìn)階，凡事只有入門后才能了解更多，技術(shù)更是如此，大數(shù)據(jù)開發(fā)技術(shù)也是只有入門后才能更好的深入探究，本篇文章好程序員大數(shù)據(jù)培訓(xùn)小編和大家分析Hadoop的入門進(jìn)階，對(duì)大數(shù)據(jù)開發(fā)感興趣的小伙伴就隨著小編一起來了解一下吧。

　　Hadoop是什么?

　　Hadoop是一個(gè)開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái),是Appach的一個(gè)用java語言實(shí)現(xiàn)開源軟件框架，實(shí)現(xiàn)在大量計(jì)算機(jī)組成的集群中對(duì)海量數(shù)據(jù)進(jìn)行分布式計(jì)算。

　　Hadoop框架中最核心設(shè)計(jì)就是：HDFS和MapReduce.HDFS提供了海量數(shù)據(jù)的存儲(chǔ),MapReduce提供了對(duì)數(shù)據(jù)的計(jì)算。

　　詳情：

　　HDFS--Hadoop生態(tài)圈的基本組成部分是Hadoop分布式文件系統(tǒng)(HDFS)。HDFS是一種數(shù)據(jù)分布式保存機(jī)制，數(shù)據(jù)被保存在計(jì)算機(jī)集群上，HDFS為HBase等工具提供了基礎(chǔ)。

　　MapReduce--Hadoop的主要執(zhí)行框架是MapReduce，它是一個(gè)分布式、并行處理的編程模型，MapReduce把任務(wù)分為map(映射)階段和reduce(化簡(jiǎn))。由于MapReduce工作原理的特性，Hadoop能以并行的方式訪問數(shù)據(jù)，從而實(shí)現(xiàn)快速訪問數(shù)據(jù)。

　　Hbase--HBase是一個(gè)建立在HDFS之上，面向列的NoSQL數(shù)據(jù)庫，用于快速讀/寫大量數(shù)據(jù)。HBase使用Zookeeper進(jìn)行管理，確保所有組件都正常運(yùn)行。

　　Zookeeper--用于Hadoop的分布式協(xié)調(diào)服務(wù)。Hadoop的許多組件依賴于Zookeeper，它運(yùn)行在計(jì)算機(jī)集群上面，用于管理Hadoop操作。

　　Pig--它是MapReduce編程的復(fù)雜性的抽象。Pig平臺(tái)包括運(yùn)行環(huán)境和用于分析Hadoop數(shù)據(jù)集的腳本語言(Pig Latin)。其編譯器將Pig Latin翻譯成MapReduce程序序列。

　　Hive--Hive類似于SQL高級(jí)語言，用于運(yùn)行存儲(chǔ)在Hadoop上的查詢語句，Hive讓不熟悉MapReduce開發(fā)人員也能編寫數(shù)據(jù)查詢語句，然后這些語句被翻譯為Hadoop上面的MapReduce任務(wù)。像Pig一樣，Hive作為一個(gè)抽象層工具，吸引了很多熟悉SQL而不是Java編程的數(shù)據(jù)分析師。

　　Sqoop是一個(gè)連接工具，用于在關(guān)系數(shù)據(jù)庫、數(shù)據(jù)倉庫和Hadoop之間轉(zhuǎn)移數(shù)據(jù)。Sqoop利用數(shù)據(jù)庫技術(shù)描述架構(gòu)，進(jìn)行數(shù)據(jù)的導(dǎo)入/導(dǎo)出;利用MapReduce實(shí)現(xiàn)并行化運(yùn)行和容錯(cuò)技術(shù)。

　　Flume提供了分布式、可靠、高效的服務(wù)，用于收集、匯總大數(shù)據(jù)，并將單臺(tái)計(jì)算機(jī)的大量數(shù)據(jù)轉(zhuǎn)移到HDFS。它基于一個(gè)簡(jiǎn)單而靈活的架構(gòu)，并提供了數(shù)據(jù)流的流。它利用簡(jiǎn)單的可擴(kuò)展的數(shù)據(jù)模型，將企業(yè)中多臺(tái)計(jì)算機(jī)上的數(shù)據(jù)轉(zhuǎn)移到Hadoop。

大數(shù)據(jù)培訓(xùn)：http://www.jf300529.com/bigdata.shtml