中文在线免费看视频_国产成人精品亚洲日本在线观看_亚洲精品第一综合99久久_国产亚洲精品日韩综合网

　　我們需要知道，所謂的“大數(shù)據(jù)”，指的是非常龐大的數(shù)據(jù)集。在一般的中型企業(yè)中，數(shù)據(jù)的規(guī)模往往能夠輕松的到達(dá)PB的規(guī)模，更不用提大型的企業(yè)了。這些數(shù)據(jù)中蘊(yùn)藏著非常豐富的價(jià)值，而大數(shù)據(jù)開發(fā)人員需要使用各種工具，對(duì)這樣的數(shù)據(jù)集進(jìn)行高效率的處理，從而挖掘出其中蘊(yùn)藏的價(jià)值，讓其發(fā)光發(fā)熱。于是要解決的第一個(gè)問題就是數(shù)據(jù)存儲(chǔ)的問題。龐大的數(shù)據(jù)集，造成了在一臺(tái)機(jī)器上存儲(chǔ)不下的問題，此時(shí)就需要使用分布式的數(shù)據(jù)存儲(chǔ)方式，而HDFS就是來解決這樣的問題而存在的。

　　存儲(chǔ)的問題解決了，下面就是對(duì)這些數(shù)據(jù)進(jìn)行計(jì)算、處理的問題了。我們需要對(duì)分布式文件系統(tǒng)上的數(shù)據(jù)文件進(jìn)行計(jì)算，勢(shì)必會(huì)涉及到分布式計(jì)算的思想。但是如果在我們處理每一個(gè)需求的時(shí)候，都去從0開始開發(fā)一個(gè)分布式計(jì)算程序，會(huì)有很多的弊端。首先，對(duì)于開發(fā)人員來說，就是一個(gè)極大的學(xué)習(xí)成本，需要去了解到分布式計(jì)算的底層是如何實(shí)現(xiàn)的。其次，幾乎所有的分布式計(jì)算程序中，涉及到分布式計(jì)算的部分可以是共用的。因此只需要將這部分單獨(dú)的抽離出來即可，沒必要每一次做分布式計(jì)算程序的時(shí)候，都去關(guān)注底層的實(shí)現(xiàn)細(xì)節(jié)。于是就出現(xiàn)了MapReduce，解決了分布式計(jì)算的問題。

　　MapReduce的出現(xiàn)，確實(shí)在一定程度上簡化了開發(fā)人員的壓力，使得開發(fā)人員只需要將自己的工作重心放在業(yè)務(wù)邏輯的實(shí)現(xiàn)上面即可，不需要考慮到分布式計(jì)算的底層細(xì)節(jié)是如何實(shí)現(xiàn)的。但是，MapReduce的程序其實(shí)還是非常的麻煩的。想要去開發(fā)一個(gè)完整的MapReduce的程序，你必須設(shè)計(jì)至少3個(gè)類: Mapper、Reduer、Driver，而如果還需要處理更加復(fù)雜的數(shù)據(jù)的時(shí)候，可能還得設(shè)計(jì)分區(qū)器、自定義數(shù)據(jù)類型、Combiner、自定義分組等等類型，使得一個(gè)MR的程序非常的復(fù)雜。這還只是一個(gè)Job。如果你的業(yè)務(wù)邏輯比較復(fù)雜，此時(shí)可能還需要有多個(gè)Job串聯(lián)，又大大的增加了開發(fā)的難度。于是，在此基礎(chǔ)上，Hive誕生了!

　　Apache Hive是Apache旗下的頂級(jí)項(xiàng)目，是在大數(shù)據(jù)開發(fā)中非常非常熱門的組件，也是大數(shù)據(jù)開發(fā)必需要使用到的技術(shù)組件之一。什么是Hive呢?Hive是一個(gè)構(gòu)建在Hadoop上的數(shù)據(jù)倉庫工具(框架)，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射成一張數(shù)據(jù)表，并可以使用類SQL的方式對(duì)這樣的數(shù)據(jù)文件進(jìn)行讀、寫以及管理的操作。有很多人在提到Hive的時(shí)候，都會(huì)把Hive稱為是一個(gè)數(shù)據(jù)庫。但是Hive只是一個(gè)數(shù)據(jù)計(jì)算的工具，并不是一個(gè)數(shù)據(jù)庫!

　　而為什么一定要使用到Hive呢?其實(shí)使用Hive可以極大的簡化開發(fā)人員的開發(fā)成本，縮短項(xiàng)目周期。我們以一個(gè)案例為例，來對(duì)比一下MapReduce和Hive來處理同樣的需求的時(shí)候，有什么區(qū)別?

　　案例：

　　一個(gè)文件中記錄著手機(jī)流量的信息，記錄著手機(jī)號(hào)碼、MAC地址、訪問網(wǎng)址、上行流量、下行流量等信息。需要從這個(gè)文件中查詢出來每一個(gè)手機(jī)號(hào)碼的總上行、總下行、總流量信息。

　　import org.apache.hadoop.io.IntWritable;

　　import org.apache.hadoop.io.Text;

　　import org.apache.hadoop.mapreduce.Reducer;

　　import java.io.IOException;

　　/**

　　* @author 千鋒大數(shù)據(jù)教研院 - 章魚哥

　　* @company 北京千鋒互聯(lián)科技有限公司

　　*/

　　public class PhoneFlowReducer extends Reducer<text, text="" text,="" phoneflowbean,=""> {

　　@Override

　　protected void reduce(Text key, Iterablevalues, Context context) throws IOException, InterruptedException {

　　// 定義一個(gè)變量，用來統(tǒng)計(jì)總流量

　　int total = 0;

　　int total_up = 0;

　　int total_down = 0;

　　// 遍歷每一個(gè)手機(jī)號(hào)碼對(duì)應(yīng)的一條流量信息

　　for (PhoneFlowBean value : values) {

　　total += value.getTotalFlow();

　　total_up += value.getUpFlow();

　　total_down += value.getDownFlow();

　　}

　　String res = String.format("%d\t%d\t%d", total_up, total_down, total);

　　context.write(key, new Text(res));

　　}

　　}

　　import org.apache.hadoop.io.LongWritable;

　　import org.apache.hadoop.io.Text;

　　import org.apache.hadoop.mapreduce.Mapper;

　　import java.io.IOException;

　　/**

　　* @author 千鋒大數(shù)據(jù)教研院 - 章魚哥

　　* @company 北京千鋒互聯(lián)科技有限公司

　　*/

　　public class PhoneFlowMapper extends Mapper<longwritable, text,="" phoneflowbean=""> {

　　@Override

　　protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

　　String[] props = value.toString().split("\t");

　　// 拆出手機(jī)號(hào)碼

　　String phoneNumber = props[1];

　　// 拆出上行流量

　　int upFlow = Integer.parseInt(props[8]);

　　// 拆出下行流量

　　int downFlow = Integer.parseInt(props[9]);

　　PhoneFlowBean bean = new PhoneFlowBean(phoneNumber, upFlow, downFlow);

　　context.write(new Text(phoneNumber), bean);

　　}

　　}

　　import org.apache.hadoop.io.Text;

　　import org.apache.hadoop.mapreduce.Reducer;

　　import java.io.IOException;

　　/**

　　* @author 千鋒大數(shù)據(jù)教研院 - 章魚哥

　　* @company 北京千鋒互聯(lián)科技有限公司

　　*/

　　public class PhoneFlowReducer extends Reducer<text, text="" text,="" phoneflowbean,=""> {

　　@Override

　　protected void reduce(Text key, Iterablevalues, Context context) throws IOException, InterruptedException {

　　// 定義一個(gè)變量，用來統(tǒng)計(jì)總流量

　　int total = 0;

　　int total_up = 0;

　　int total_down = 0;

　　// 遍歷每一個(gè)手機(jī)號(hào)碼對(duì)應(yīng)的一條流量信息

　　for (PhoneFlowBean value : values) {

　　total += value.getTotalFlow();

　　total_up += value.getUpFlow();

　　total_down += value.getDownFlow();

　　}

　　String res = String.format("%d\t%d\t%d", total_up, total_down, total);

　　context.write(key, new Text(res));

　　}

　　}

　　import org.apache.hadoop.conf.Configuration;

　　import org.apache.hadoop.fs.Path;

　　import org.apache.hadoop.io.IntWritable;

　　import org.apache.hadoop.io.Text;

　　import org.apache.hadoop.mapreduce.Job;

　　import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

　　import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

　　import java.io.IOException;

　　/**

　　* @author 千鋒大數(shù)據(jù)教研院 - 章魚哥

　　* @company 北京千鋒互聯(lián)科技有限公司

　　*/

　　public class PhoneFlowDriver {

　　public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

　　Configuration configuration = new Configuration();

　　configuration.set("mapreduce.framework.name", "local");

　　Job job = Job.getInstance(configuration);

　　job.setMapperClass(PhoneFlowMapper.class);

　　job.setReducerClass(PhoneFlowReducer.class);

　　job.setJarByClass(PhoneFlowDriver.class);

　　job.setMapOutputKeyClass(Text.class);

　　job.setMapOutputValueClass(PhoneFlowBean.class);

　　job.setOutputKeyClass(Text.class);

　　job.setOutputValueClass(Text.class);

　　FileInputFormat.setInputPaths(job, new Path("file/HTTP_20130313143750.dat"));

　　FileOutputFormat.setOutputPath(job, new Path("file/out2"));

　　System.exit(job.waitForCompletion(true) ? 0 : -1);

　　}

　　}

　　看到了吧，用MapReduce實(shí)現(xiàn)上述需求的時(shí)候，需要設(shè)計(jì)至少3個(gè)類：Mapper、Reducer、Driver，有些復(fù)雜的需求還需要自定義序列化類型，例如上述的PhoneFlowBean類。那么使用Hive如何解決這個(gè)需求呢?

　　# 建表

　　CREATE TABLE flow(

　　id string COMMENT 'this is id column',

　　phonenumber string,

　　mac string,

　　ip string,

　　url string,

　　urltype string,

　　uppacket int,

　　downpacket int,

　　upflow int,

　　downflow int,

　　issuccess int

　　)

　　COMMENT 'this is log table'

　　ROW FORMAT DELIMITED

　　FIELDS TERMINATED BY '\t'

　　LINES TERMINATED BY '\n'

　　stored as textfile;

　　# 查詢結(jié)果

　　select

　　phonenumber,

　　sum(upflow) total_up,

　　sum(downflow) total_down,

　　sum(upflow+downflow) total

　　from

　　flow

　　group by

　　phonenumber;

　　看到了吧，使用Hive來做同樣的需求，就是這么簡單!對(duì)HDFS上的結(jié)構(gòu)化的數(shù)據(jù)文件進(jìn)行表的映射，然后一條SQL就可以實(shí)現(xiàn)同樣的需求了!

　　因此，當(dāng)我們需要處理到非常復(fù)雜的需求的時(shí)候，使用Hive來進(jìn)行數(shù)據(jù)的處理將會(huì)變得非常的簡單，可以極大的減少開發(fā)人員的開發(fā)壓力，縮短開發(fā)人員的開發(fā)周期!