Spark groupByKey算子学习使用详解

作者:高景洋 日期:2020/10/25 10:39 浏览次数:272

groupByKey():

    分组统计

示例代码:

    

def my_groupByKey():
    data = ['hello spark', 'hello world', 'hello world']
    rdd = sc.parallelize(data)
    map_rdd = rdd.flatMap(lambda line:line.split(' ')).map(lambda x:(x,1))
    group_by_rdd = map_rdd.groupByKey() 
 print(group_by_rdd.collect())
    result_rdd = group_by_rdd.map(lambda x:{x[0]:list(x[1])}) 
 print(result_rdd.collect())

输出结果:
('hello', <pyspark.resultiterable.ResultIterable object at 0x1061b45f8>), ('spark', <pyspark.resultiterable.ResultIterable object at 0x1061b4630>), ('world', <pyspark.resultiterable.ResultIterable object at 0x1061b4898>)]

[{'hello': [1, 1, 1]}, {'spark': [1]}, {'world': [1, 1]}]

本文永久性链接:
<a href="http://www.zhihu.so/art151.aspx">Spark groupByKey算子学习使用详解</a>
相关文章
友情链接
支付宝打赏(内容对您有帮助的话)
微信交流
知乎编程经验网 - 在工作中总结编程的经验! 备案/许可证编号:鲁ICP备11020152号
QQ:120217215 联系电话:15192695151