Kafka核心技术与实战
全面提升你的Kafka实战能力
618 狂欢 | 课程专属口令
全场专栏、视频课,使用口令「618gogogo」
立享 7 折优惠 !!
你将获得
- Kafka 集群环境的监控和管理
- 消息系统常见疑难问题解析
- Kafka 内核原理剖析
- 流式处理平台应用案例
讲师介绍
胡夕,Apache Kafka Committer,老虎证券用户增长团队负责人,著有《Apache Kafka实战》一书,曾任职于IBM、搜狗和新浪微博等公司。胡夕对Kafka及其他开源流处理框架与技术有深刻理解,精通Kafka原理,主导过多个十亿级/天的消息引擎业务系统的设计与搭建,具有丰富的线上环境定位和诊断调优经验,曾给多家大型公司提供企业级Kafka培训。
课程介绍
Kafka是LinkedIn开发并开源的一套分布式的高性能消息引擎服务,后来被越来越多的公司应用在自己的系统中,可以说,Kafka是大数据时代数据管道技术的首选。在设计的时候,它就实现了高可靠、高吞吐、高可用和可伸缩,得益于这些特性,加上活跃的社区,Kafka成为了一个完备的分布式消息引擎解决方案。
历经多年发展,Kafka的功能和特性也在不断迭代,如今的Kafka集消息系统、存储系统和流式处理平台于一身,并作为连接着各种业务前台和数据后台的消息中间件,在线上环境承担了非常重要的作用。
但在Kafka的实际使用过程中,几乎所有人都或多或少会遇到一些问题,比如:
-
棘手的线上问题难于定位和解决,怎么办?
-
在Kafka版本的演进过程中,各种新功能层出不穷,导致各种兼容性问题接踵而至,怎么办?
-
当集群规模扩展到一定程度后,所追求的高性能与有限的资源之间的矛盾又变得日益尖锐起来,怎么办?
如何顺利填补这些“坑”,是摆在每个Kafka学习者面前最亟待解决的问题。
专栏分为六部分。
第一部分,Kafka入门。作为正式学习前的热身,将介绍消息引擎这类系统的原理和用途,以及作为优秀的消息引擎代表,Kafka是如何“脱颖而出”的。
第二部分,Kafka的基本使用。将重点探讨Kafka如何用于生产环境,特别是线上环境的方案该如何制定。
第三部分,客户端实践及原理剖析。将带你学习Kafka客户端的方方面面,既有生产者的实操讲解,也有消费者的原理剖析,是专栏的重点内容。
第四部分,深入Kafka内核。将着重介绍Kafka最核心的设计原理,包括Controller的设计机制、请求处理的全流程等。
第五部分,管理与监控。这部分涵盖Kafka运维与监控的内容,将讨论如何高效运维Kafka集群,并分享有效监控Kafka的实战经验。
第六部分,高级Kafka应用之流处理。最后这一部分将会介绍Kafka流处理组件Kafka Streams的实战应用,并带你从头开发一个demo项目。