菜单 学习猿地 - LMONKEY

VIP

开通学习猿地VIP

尊享10项VIP特权 持续新增

知识通关挑战

打卡带练!告别无效练习

接私单赚外块

VIP优先接,累计金额超百万

学习猿地私房课免费学

大厂实战课仅对VIP开放

你的一对一导师

每月可免费咨询大牛30次

领取更多软件工程师实用特权

入驻
431
0

spark学习指南

原创
05/13 14:22
阅读数 41545

 

1 快速入门

官方快速入门文档:https://spark.apache.org/docs/3.1.1/quick-start.html

2 Spark原理

1.1 Spark Core

    1.1.1 Spark 内存管理

1、Spark Executor内存管理  http://arganzheng.life/spark-executor-memory-management.html

 

1.2 SparkSQL

  1.2.1 Spark SQL 特性

1) 动态分区裁剪(Dynamic Partition Pruning)

一文了解 Apache Spark 3.0 动态分区裁剪(Dynamic Partition Pruning)    https://mp.weixin.qq.com/s?__biz=MzA5MTc0NTMwNQ==&mid=2650718656&idx=1&sn=57de5460e470cb9e475799b972576463&chksm=887ddcb6bf0a55a0569c134bbfab39efd91fef01407df60c4e3681486856972b4e70c15a4b92&scene=21#wechat_redirect

一文了解 Apache Spark 3.0 动态分区裁剪的使用   https://zhuanlan.zhihu.com/p/92780641

 

2) 自适应 Adaptive Execution

SparkSQL的自适应执行-Adaptive Execution  https://blog.csdn.net/u013411339/article/details/107075125

 

1.3 SparkStreaming

1.4 Pyspark

1.5 Structured Streaming

1.6 Graphx 

1.7 MLLib

 

3 性能调优

1、官方调优指南  https://spark.apache.org/docs/3.1.1/tuning.html

2、Spark性能优化指南——基础篇(美团团队)  https://tech.meituan.com/2016/04/29/spark-tuning-basic.html

3、Spark性能优化指南——高级篇(美团团队)https://tech.meituan.com/2016/05/12/spark-tuning-pro.html

3 常见问题

1、数据倾斜 

Hive之数据倾斜原因及解决方法  http://blog.sina.com.cn/s/blog_7bbd4ce50102xer9.html3

Spark性能优化之道——解决Spark数据倾斜(Data Skew)的N种姿势  http://www.jasongj.com/spark/skew/

发表评论

0/200
431 点赞
0 评论
收藏