Spark方法創(chuàng)建RDD【大數據技術文章】

Spark可以通過并行集合創(chuàng)建RDD。即從一個已經存在的集合、數組上，通過SparkContext對象調用parallelize()方法創(chuàng)建RDD。

若要創(chuàng)建RDD，則需要先創(chuàng)建一個數組，再通過執(zhí)行parallelize()方法實現，具體代碼如下：

 scala> val array=Array(1,2,3,4,5)  array: Array[Int]=Array(1,2,3,4,5)
  scala> val arrRDD=sc.parallelize(array)
   arrRDD: org.apache.spark.rdd.RDD[Int]=ParallelcollectionRDD[6] at parallelize
                                at <console>:26

執(zhí)行上述代碼后，從返回結果arrRDD的屬性中看出RDD創(chuàng)建完成。



猜你喜歡：

RDD如何分區(qū)，各種模式下的分區(qū)數目是怎樣的？

不同系統(tǒng)如何加載數據創(chuàng)建RDD？

RDD轉換算子API過程演示【大數據文章】    

Spark RDD是什么？RDD特征介紹

黑馬程序員大數據開發(fā)培訓班