菜单 学习猿地 - LMONKEY

VIP

开通学习猿地VIP

尊享10项VIP特权 持续新增

知识通关挑战

打卡带练!告别无效练习

接私单赚外块

VIP优先接,累计金额超百万

学习猿地私房课免费学

大厂实战课仅对VIP开放

你的一对一导师

每月可免费咨询大牛30次

领取更多软件工程师实用特权

入驻

Spark Streaming 应用开发 收藏

367人加入学习
更新时间
2022-09-25
课程价格
¥512 ¥216会员免费
课程任务
5 个
课程节数
27 个
课程时长
8课时

java

java

Spark Streaming 应用开发也是Spack生态的主要技术,在大数据Spack平台生态中处理的数据也可以共享,不同应用之间数据无缝集成 Spark 生态圈是加州大学伯克利分校的 AMP 实验室打造的,是一个力图在算法(Algorithms)、机器(Machines)、人(People)之间通过大规模集成来展现大数据应用的平台。 需要掌握Scala基础语法、数据结构、面向对象编程、函数式编程;Scala应用开发,还要掌握Spark集群的安装、配置、使用; Spark核心概念、基本原理;Spark RDD、Spark SQL、Spark Streaming应用开发。 以及要了解企业大数据应用设计规范和编码规则,掌握大数据应用开发。学完此阶段需要掌握Scala基础语法、数据结构、面向对象编程、函数式编程;Scala应用开发, 掌握Spark集群的安装、配置、使用;Spark核心概念、基本原理;Spark RDD、Spark SQL、Spark Streaming应用开发, ,了解企业大数据应用设计规范和编码规则,掌握大数据应用开发;

java

java

应知应会:

java

1.掌握Spark Streaming核心概念、基本原理

2.掌握基本数据源应用

4.掌握与Flume、Kafka等高级数据源的集成

5.掌握无状态和有状态的转换

6.掌握Kafka offset的管理

java

项目实战:

java

日志数据实时分析

java

主要知识点:

java
☑ SpringBoot/Cloud技术使用

☑ Spark Streaming核心概念、基本原理

☑ 基础数据源应用:文件、Socket、RDD队列流

☑ 高级数据源应用:Flume、Kafka

☑ 无状态的转换

☑ 有状态的转换

☑ Kafka offset的管理

☑ 日志数据实时分析

java

java

学习基础:

java

大数据开发需要好的技术辅助, 掌握这些玩大数据才顺手。 除了要有Java基础之外, 做大数开发还需要一些通用的技术, 需要掌握Linux技术,包括Linux安装部署、Linux常用命令、Linux用户和权限、能够编写简单Linux Shell脚本。 还需要掌握数据库, 例数据库的设计、使用、优化、编程,熟练使用Java访问数据库。也需要前端H5、CSS3前端技术应用和开发,熟练进行前端界面设计。 也要掌握JavaWeb常见组件Servlet、JSP,熟练搭建Tomcat服务器和JavaWeb环境。

java

java

java

主讲老师

李建龙

课程数: 10门
学生数: 11.2千人
学习猿地 合伙人,清华大学数学专业硕士毕业,现任某企大数据部总监。曾任职于联想、美团等公司,在电商、医疗、出行等内容领域有丰富的数据产品实践,也有非富的数据分析经验。精通JAVAEE、分布式开发和离线处理计算、Hadoop、Flume、kafka、Spark、ELK等技术。
最新成员

伟仔

k-o-t-w

pigchu

maoxfjob

Eleven_C

song634

Kingkeer

MaL_

syq296795694

callmelx

hunkm

songyf

K1ASE

xcbosa

lisiao

katherineleeyq

为你推荐 换一批