山月的极客时间返现平台
关于添加微信 shanyue94 领取返现

Spark性能调优实战一站式加速Spark作业执行性能

吴磊 · Spark性能调优实战
一站式加速 Spark 作业执行性能
去购买
实付:59
价格:¥79
返现:¥20

【上新专属优惠 | 立省 ¥30】

早鸟+口令「 Spark6666」
立省 ¥30,到手 ¥69,仅限今日。

订阅后,戳此加入「吴磊的 Spark 的读者群」


你将获得

  • 深入浅出的 Spark 核心原理
  • 全面解析 Spark SQL 性能调优
  • 应用开发、配置项设置实操指南
  • 手把手带你实现一个分布式应用

讲师介绍

吴磊,现任 Comcast Freewheel 机器学习团队负责人,负责计算广告业务中机器学习应用的实践、落地与推广。曾任职于 IBM、联想研究院、新浪微博,具备丰富的数据库、数据仓库、大数据开发与调优经验。

吴磊热爱技术分享,擅长从生活的视角解读技术。做过Spark Summit China 2017 讲师、World AI Conference 2020 讲师,在《IBM developerWorks》和《程序员》杂志,以及InfoQ上发表过多篇技术文章,深受好评。


课程介绍

目前,Spark已然成为分布式数据处理技术的事实标准,也在逐渐成为各大头部互联网公司的标配。

而2020年6月Spark 3.0版本的发布,更是带来了业界期待已久的性能优化,比如自适应查询执行(AQE)、动态分区剪裁(DPP)、扩展的Join hints等新特性。可以预见的是,这次升级会让Spark在未来5到10年继续雄霸大数据生态圈。

因此,对于数据领域的任何一名工程师来说,Spark开发都是一项必备技能;而想要进入大厂,就更得有丰富的Spark性能调优经验。

但对很多工程师来说,快速上手开发应用很容易,把握应用的执行性能却总也找不到头绪,比如:

  • 明明都是内存计算,为什么我用了RDD/DataFrame Cache,性能反而更差了?
  • 网上吹得神乎其神的调优手段,为啥到了我这就不好使呢?
  • 并行度设置得也不低,为啥我的CPU利用率还是上不去?
  • 节点内存几乎全都划给Spark用了,为啥我的应用还是OOM?

为此,我们特意邀请到了吴磊老师,他根据自己多年的数据处理经验,梳理出了一套关于性能调优的方法论,帮助你在有效加速 Spark 作业执行性能的同时,也建立起以性能为导向的开发习惯

除此之外,他还会手把手教你打造一个分布式应用,带你从不同角度洞察汽油车摇号的趋势和走向,让你对性能调优技巧和思路的把控有一个“质的飞跃”。

课程模块设计

课程按照原理、性能、实战分为三大部分。

原理篇:主要讲解与性能调优息息相关的核心概念,包括RDD、DAG、调度系统、存储系统和内存管理。力求用最贴切的故事和类比、最少的篇幅,让你在最短的时间内掌握其核心原理,为后续的性能调优打下坚实的基础。

性能篇:虽然Spark的应用场景可以分为5大类,包括海量批处理、实时流计算、图计算、数据分析和机器学习。但它对Spark SQL的倾斜和倚重也是有目共睹,所以性能篇主要分两部分来讲。

一部分主要讲解性能调优的通用技巧,包括应用开发的基本原则、配置项的设置、Shuffle的优化、资源利用率的提升。另一部分会专注于数据分析领域,借助Spark内置优化如Tungsten、AQE和典型场景如数据关联,总结Spark SQL中的调优方法和技巧。

实战篇:以2011-2019的《北京市汽油车摇号》数据为例,手把手教你打造一个分布式应用,带你从不同角度洞察汽油车摇号的趋势和走向,帮助你实践我们的方法论和调优技巧,不仅要学得快,也要学得好!

除此之外,课程更新期间,还会不定期地针对一些热点话题进行加餐。比如,和Flink、Presto相比,Spark有哪些优势;再比如,Spark的一些新特性,以及业界对于Spark的新探索。这也能帮助你更好地面对变化,把握先机。


课程目录


特别放送

  1. 订阅后,分享专属海报,每邀请一位好友订阅有奖励。
  2. 戳此添加社群管理员,进入技术交流&福利群
  3. 戳此申请学生认证,订阅课程一律 5 折。
  4. 3 - 4 月课表抢先看,充值购课更优惠!充 ¥500 得 ¥600,还有限时豪礼免费送,戳此查看>>>


  5. 订阅须知

    1. 本专栏为订阅专栏,更新时间为2021年03月15日至2021年05月31日。订阅成功后,即可通过“极客时间”App端、小程序端、Web端永久阅读。
    2. 本专栏更新时间为每周一、三、五,形式为图文+音频,定价99元。
    3. 企业批量购买请点击“企业充值”了解详情,可支持员工选课,企业支付。
    4. 本专栏为虚拟商品,一经订阅,概不退款。