Spark中的算子都有哪些

Spark中的算子都有哪些

总的来说,spark分为三大类算子:

Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理； Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算

Action 行动算子：这类算子会触发 SparkContext 提交 Job 作业； Action 算子会触发 Spark 提交作业（Job），并将数据输出 Spark系统

controller 控制操作：Spark中控制算子也是懒执行的，需要Action算子触发才能执行，主要是为了对数据进行缓存。

控制算子有三种，cache,persist,（RDD 持久化原理）checkpoint，以上算子都可以将RDD持久化，持久化的单位是partition。cache和persist都是懒执行的。必须有一个action类算子触发执行。checkpoint算子不仅能将RDD持久化到磁盘，还能切断RDD之间的依赖关系。

输入分区与输出分区一对一型

map算子

flatMap算子

mapPartitions算子

glom算子

输入分区与输出分区多对一型

union算子

cartesian算子

输入分区与输出分区多对多型

grouBy算子

输出分区为输入分区子集型

filter算子

distinct算子

subtract算子

sample算子

takeSample算子

Cache型

cache算子

persist算子

输入分区与输出分区一对一

mapValues算子

对单个RDD或两个RDD聚集

combineByKey算子

reduceByKey算子

partitionBy算子

Cogroup算子

连接

join算子

leftOutJoin 和 rightOutJoin算子

无输出

foreach算子

HDFS算子

saveAsTextFile算子

saveAsObjectFile算子

Scala集合和数据类型

collect算子

collectAsMap算子

reduceByKeyLocally算子

lookup算子

count算子

top算子

reduce算子

fold算子

aggregate算子

countByValue

countByKey

spark

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。