Spark flatmap算子学习使用详解

作者:高景洋 日期:2020/10/25 10:19 浏览次数:59

flatmap(func):

    1、输入的item能够map到0 或 多个输出,返回值是一个Sequence


示例代码:

   实现rdd中的每个数据,按 空格 拆分,并输出

def my_flatMap():
    data = ['hello spark','hello world','hello world']
    rdd = sc.parallelize(data)
    rdd2 = rdd.flatMap(lambda line:line.split(' ')).collect() 
 print(rdd2)

输出结果:

['hello', 'spark', 'hello', 'world', 'hello', 'world']

本文永久性链接:
<a href="http://www.zhihu.so/art150.aspx">Spark flatmap算子学习使用详解</a>
相关文章
友情链接
支付宝打赏(内容对您有帮助的话)
微信交流
知乎编程经验网 - 在工作中总结编程的经验! 备案/许可证编号:鲁ICP备11020152号
QQ:120217215 联系电话:15192695151