Spark RDD 能否知道指定分区数据
val rdd = spark.table("your_table").rdd// 获取rdd的partition数量val partitionCount = rdd.getNumPartitions// 获取第一个partition的RDDval firstPartitionRDD = rdd.mapPartitionsWithIndex { (idx, iter) =\u0026gt; if (idx == 0) { iter } else { Iterator.empty }}// do somethingfirstPartitionRDD.count()
■网友
你好！
【Spark RDD 能否知道指定分区数据】 可以根据get.partitionId获得数据所在的partition，然后执行具体的rdd计算。
推荐阅读
- 汽车知识|押宝全新造型，东风雪铁龙新C5能否成为神龙公司“救世主”
- 中国版Evan能火吗美国9岁男童录制评测玩具视频年入800万，中国能否复制成功
- 汽车市场|中期改款再战D级车市场，新雷克萨斯LS能否超过宝马7系等对手？
- 澎湃汽车圈|试驾名爵MG领航 运动性和实用性能否兼顾？
- 天天汽车|超高性价比实力宠粉，2021款奕歌能否点燃你的心？
- 能否推荐一个能用快播看电影且电影都是中英双字幕的网站
- 汽车|定位更细分SUV市场，领克06能否扩大领克的“朋友圈”？
- 汽车白话|看脸蛋、观腰身、品内饰长安欧尚X5“塑光美学”能否打动挑剔的你
- 环球车讯网|软件能否定义汽车
- 车市速递|中期改款长和高有变化，新款指南者能否俘获更多消费者的心？