SparkでのRDDの基本的な変換操作

Basic Conversion Operations Rdd Spark

{1、2、3、4}のデータを使用してRDDで基本的なRDD変換操作を実行します。

以下はscala言語で実装されています：

1：valの例= sc.parallelize（List（1、2、3、3））

val result = example.map（x => x + 1）

println（result.collect（）。mkString（ '、'））

2：valの例= sc.parallelize（List（1、2、3、3））

val result = example.flatMap（x => x.to（3））

println（result.collect（）。mkString（ '、'））

3：valの例= sc.parallelize（List（1、2、3、3））

val result = example.filter（x => x！= 1）

println（result.collect（）。mkString（ '、'））

4：valの例= sc.parallelize（List（1、2、3、3））

val result = example.distinct（）

println（result.collect（）。mkString（ '、'））

5：valの例= sc.parallelize（List（1、2、3、3））

val result = example.sample（）

println（result.collect（）。mkString（ '、'））

転載：https：//www.cnblogs.com/reedom1991/p/7114785.html