Spark發(fā)展史：讓你了解什么是Spark？

Spark于2009年誕生于美國加州大學伯克利分校的AMP實驗室，它是一個可應用于大規(guī)模數(shù)據(jù)處理的統(tǒng)一分析引擎。Spark不僅計算速度快，而且內(nèi)置了豐富的APl，使得用戶能夠更加容易地編寫程序。下面我們就來聊聊Spark的發(fā)展歷史。

Spark在2013年加入Apache孵化器項目，之后發(fā)展迅猛，并于2014年正式成為Apache軟件基金會的頂級項目。Spark從最初研發(fā)到最終成為Apache的頂級項目，其發(fā)展的整個過程僅用了5年時間目前。

目前，Spark生態(tài)系統(tǒng)已經(jīng)發(fā)展成為一個可應用于大規(guī)模數(shù)據(jù)處理的統(tǒng)一分析引擎，它是基于內(nèi)存計算的大數(shù)據(jù)并行計算框架，適用于各種各樣的分布式平臺系統(tǒng)。在Spark生態(tài)圈中包含了Spark SQL、Spark Streaming、GraphX、MLlib等組件，這些組件可以非常容易地把各種處理流程整合在一起，而這樣的整合，在實際數(shù)據(jù)分析過程中是很有意義的。不僅如此，Spark的這種特性還大大減輕了原先需要對各種平臺分別管理的依賴負擔。下面，通過一張圖描述Spark的生態(tài)系統(tǒng)，具體如下圖1所示。

通過上面圖片可以看出，Spark生態(tài)系統(tǒng)主要包含Spark Core、Spark SQL、Spark Streaming、MLib、GraphX以及獨立調(diào)度器，下面對上述組件進行一一介紹。推薦了解黑馬程序員大數(shù)據(jù)培訓課程。

（1）Spark Core：Spark核心組件，它實現(xiàn)了Spark的基本功能，包含任務調(diào)度、內(nèi)存管理、錯誤恢復、與存儲系統(tǒng)交互等模塊。Spark Core中還包含了對彈性分布式數(shù)據(jù)集(Resilient Distributed Datasets,RDD)的API定義，RDD是只讀的分區(qū)記錄的集合，只能基于在穩(wěn)定物理存儲中的數(shù)據(jù)集和其他已有的RDD上執(zhí)行確定性操作來創(chuàng)建。

（2）Spark SQL：用來操作結(jié)構化數(shù)據(jù)的核心組件，通過Spark SQL可以直接查詢Hive、 HBase等多種外部數(shù)據(jù)源中的數(shù)據(jù)。Spark SQL的重要特點是能夠統(tǒng)一處理關系表和RDD在處理結(jié)構化數(shù)據(jù)時，開發(fā)人員無須編寫 MapReduce程序，直接使用SQL命令就能完成更加復雜的數(shù)據(jù)查詢操作。

（3）Spark Streaming：Spark提供的流式計算框架，支持高吞吐量、可容錯處理的實時流式數(shù)據(jù)處理，其核心原理是將流數(shù)據(jù)分解成一系列短小的批處理作業(yè)，每個短小的批處理作業(yè)都可以使用 Spark Core進行快速處理。Spark Streaming支持多種數(shù)據(jù)源，如 Kafka以及TCP套接字等。

(4)MLlib：Spark提供的關于機器學習功能的算法程序庫，包括分類、回歸、聚類、協(xié)同過濾算法等，還提供了模型評估、數(shù)據(jù)導入等額外的功能，開發(fā)人員只需了解一定的機器學習算法知識就能進行機器學習方面的開發(fā)，降低了學習成本。

(5) GraphX: Spark提供的分布式圖處理框架，擁有圖計算和圖挖掘算法的API接口以及豐富的功能和運算符，極大地方便了對分布式圖的處理需求，能在海量數(shù)據(jù)上運行復雜的圖算法。

(6)獨立調(diào)度器、Yarn、 Mesos: Spark框架可以高效地在一個到數(shù)千個節(jié)點之間伸縮計算，集群管理器則主要負責各個節(jié)點的資源管理工作，為了實現(xiàn)這樣的要求，同時獲得最大的靈活性， Spark支持在各種集群管理器( Cluster Manager)上運行， Hadoop Yarn、Apache Mesos以及 Spark自帶的獨立調(diào)度器都被稱為集群管理器。

Spark生態(tài)系統(tǒng)各個組件關系密切，并且可以相互調(diào)用，這樣設計具有以下顯著優(yōu)勢。

(1) Spark生態(tài)系統(tǒng)包含的所有程序庫和高級組件都可以從 Spark核心引擎的改進中獲益。

(2)不需要運行多套獨立的軟件系統(tǒng)，能夠大大減少運行整個系統(tǒng)的資源代價。

(3)能夠無縫整合各個系統(tǒng)，構建不同處理模型的應用。

綜上所述，Spak框架對大數(shù)據(jù)的支持從內(nèi)存計算、實時處理到交互式查詢，進而發(fā)展到圖計算和機器學習模塊。Spark生態(tài)系統(tǒng)廣泛的技術面，一方面挑戰(zhàn)占據(jù)大數(shù)據(jù)市場份額最大的Hadoop，另一方面又隨時準備迎接后起之秀Flink、Kafka等計算框架的挑戰(zhàn)，從而使Spark在大數(shù)據(jù)領域更好地發(fā)展。

猜你喜歡

什么是機器學習?