菜单 学习猿地 - LMONKEY

VIP

开通学习猿地VIP

尊享10项VIP特权 持续新增

知识通关挑战

打卡带练!告别无效练习

接私单赚外块

VIP优先接,累计金额超百万

学习猿地私房课免费学

大厂实战课仅对VIP开放

你的一对一导师

每月可免费咨询大牛30次

领取更多软件工程师实用特权

入驻
342
0

Spark RDD编程

原创
05/13 14:22
阅读数 9807

准备文本文件
从文件创建RDD lines=sc.textFile()
筛选出含某个单词的行 lines.filter()
lambda 参数:条件表达式

截图:

从文件创建RDD lines=sc.textFile()

 

 筛选出含某个单词的行 lines.filter()
lambda 参数:条件表达式

 

 

2.

生成单词的列表
从列表创建RDD words=sc.parallelize()
筛选出长度大于2 的单词 words.filter()

截图:

生成单词的列表

 

 从列表创建RDD words=sc.parallelize()

 

 

筛选出长度大于2 的单词 words.filter()

 

 

3.

 筛选出的单词RDD,映射为(单词,1)键值对。 words.map()

 

发表评论

0/200
342 点赞
0 评论
收藏