Hive和Hadoop協(xié)作執(zhí)行任務(wù)的工作原理是什么？

Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，主要用來對數(shù)據(jù)進行抽取、轉(zhuǎn)換、加載操作。HiveQL可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)表，允許熟悉SQL的用戶查詢數(shù)據(jù)，也允許熟悉MapReduce的開發(fā)者開發(fā)自定義的mapper和reducer來處理內(nèi)建的mapper和 reducer無法完成的復(fù)雜的分析工作，相對于Java代碼編寫的MapReduce來說，Hive的優(yōu)勢更加明顯。Hive利用Hadoop的HDFS存儲數(shù)據(jù)，利用Hadoop的MapReduce執(zhí)行查詢。

Hive和Hadoop協(xié)作執(zhí)行任務(wù)的工作原理

(1)  用戶通過用戶接口向Driver提交executeQuery。

(2)  Driver向Compiler發(fā)送獲取計劃的請求。

(3)  Compiler根據(jù)用戶提交的executeQuery去MetaStore獲取需要的元數(shù)據(jù)信息。

(4)  MetaStore向Compiler發(fā)送元數(shù)據(jù)信息。

(5)  Compiler得到元數(shù)據(jù)信息，并向Driver發(fā)送計劃。

(6)  Driver 向EXECUTION ENGINE提交executePlan。

(7)  用戶接口向Driver發(fā)起獲取結(jié)果集(fetchResults)的請求。

(8）Driver向EXECUTION ENGINE發(fā)起獲取結(jié)果集的請求。

(9）EXECUTION ENGINE向Driver發(fā)送結(jié)果集，Driver獲取到結(jié)果集后返回用戶接口。