基于Apache Flink的流处理

Apache Flink项目的资深贡献者Fabian Hueske和Vasiliki Kalavri展示了如何使用Flink DataStream API实现可伸缩的流式应用，以及怎样在业务环境中持续运行和维护这些应用。流处理的理想应用场景有很多，包括低延迟ETL、流式分析、实时仪表盘以及欺诈检测、异常检测和报警。你可以在任意类型的持续数据（包括用户交互、金融交易和物联网等数据）生成后，立即对它们进行处理。

了解有关分布式状态化流处理的概念和挑战。

探索Flink的系统架构，包括事件时间处理模式和容错模型。

理解DataStream API的基础知识和构成要素，包括基于时间和有状态的算子。

以精确一次的一致性读写外部系统。

部署和配置Flink集群。

对持续运行的流式应用进行运维。

作者介绍

Fabian Hueske是Apache Flink项目的PMC成员，他从Flink项目创始之初就开始参与贡献。Fabian是data Artisans（现在的Ververica）公司的创始人之一，拥有柏林工业大学的计算机科学博士学位。

Vasiliki Kalavri是苏黎世联邦理工学院系统组的博士后研究员。她同样也是Apache Flink项目的PMC成员。作为Flink早期贡献者，Vasiliki参与了图计算库Gelly以及初期版本的Table API和流式SQL的建设工作。

译者介绍

崔星灿，加拿大约克大学博士后，分布式流处理技术和开源爱好者，Apache Flink Committer。

带你走近Apache Flink，一个为全世界多个Z大规模级别的流处理应用提供支持的开源框架。通过本书，你将探索并行流处理的基本概念并了解该技术与传统批处理的区别。

前言

你能从本书学到什么

本书将教给你基于Apache Flink 进行流处理的一切知识。它总共包含了11 章，我们希望通过这些章节讲述一个完整的故事。书中部分章节会侧重描述高层次的设计理念，而其余章节会更加注重实践并包含了很多示例代码。

尽管我们在写书的时候是按照预期阅读顺序进行的章节编排，但如果你已经对某些章节的内容很熟悉，仍可以选择跳过。若是你迫不及待地想开始编写Flink 代码，也可以先阅读实践章节。接下来我们会简要介绍一下每个章节的内容，便于你直接跳到最感兴趣的部分。

? 第 1 章是概述。我们在其中概括了状态化流处理、数据处理应用的架构和设计，以及流处理与传统方法相比的优势所在。此外，还简要介绍了如何在本地Flink 实例上运行你的第一个流式应用。

? 第 2 章主要讨论流处理的基本概念和挑战。这些内容均是独立于 Flink 而存在的。

? 第 3 章重点描述 Flink 的系统架构和内部实现。其中讨论了分布式架构、流式应用中的时间和状态处理问题以及Flink 的容错机制。

? 第 4 章讲解如何配置用于开发和调试 Flink 应用的环境。

? 第 5 章介绍 Flink DataStream API 的基础知识。你将从中学到如何实现DataStream 应用以及Flink 所支持的流式转换、函数及数据类型等。

? 第 6 章讨论 DataStream API 中基于时间的算子。其中包含窗口算子、基于时间的Join 以及一系列处理函数（process function），它们让流式应用中的时间处理变得十分灵活。

? 第 7 章介绍如何实现有状态函数以及一些与之相关的问题，例如性能、健壮性、有状态函数的演变等。同时本章还会展示如何使用Flink 的可查询式状态。

? 第 8 章介绍 Flink 中最常用的数据源（data source）和数据汇（data sink）连接器。其中会讨论Flink 中解决端到端应用一致性的方案以及如何实现自定义连接器来读写外部系统。

? 第 9 章讨论如何针对不同环境搭建和配置 Flink 集群。

? 第 10 章主要涵盖针对 7×24 小时运行的流处理应用的操作、监控和运维等内容。

? 最后在第 11 章，我们提供了一些资源，以方便你提问、参与 Flink 相关活动并了解Flink 的现实应用场景。

本书约定

本书使用如下排版约定：

斜体字（Italic）

表示新的术语、链接、电子邮件地址、文件名和文件扩展名。

等宽字体（Constant width）

用于程序清单，在段落中引用程序元素，例如变量名、函数名、数据库、数据类型、环境变、代码语句和关键词等。也用于模块和包的名称，以及展示由用户按字面输入的命令或其他文本及命令输出。

斜体等宽字体（Constant width italic）

表示应替换为用户提供的值或由上下文确定的值来替换的文本。

使用示例代码

本书的补充材料（Java 和Scala 示例代码）可在https://github.com/streamingwith-flink 下载。

本书的目的是帮助你完成工作。一般来说，书中提供的示例代码可用于你自己的程序或文档中。除非你复制了大量代码，否则无须联系我们获得许可。举例而言，你在编写的程序中用到了本书的几个代码块无需许可。不过销售或分发O’Reilly 系列书籍的示例CD-ROW 则需要获得许可。引用本书的示例代码来回答问题无需许可。而将本书中大量示例代码整合到产品文档中则需要获得许可。

我们提倡但不强制要求归属权声明。归属权声明通常包括数名、作者、出版社以及ISBN。例如：“Stream Processing with Apache Flink by Fabian Hueske and Vasiliki Kalavri (O’Reilly). Copyright 2019 Fabian Hueske and Vasiliki Kalavri, 978-1-491-97429-2”。

如果你觉得你对示例代码的使用超出了上述许可范围，可随时通过电子邮件[email protected] 联系我们。

O’Reilly 在线学习

40 年来O’Reilly 一直在提供技术和商业培训、知识、见解，以帮助企业成功。

我们独一无二的专家及创新者团队会通过书籍、文章、会议和在线学习平台等途径分享他们的知识和专业经验。O’Reilly 在线学习平台为你提供按需访问的实时培训课程，深入学习路径，交互式编码环境以及来自O’Reilly和200 多家其他出版商的大量文本及视频。欲了解更多信息，请访问http://oreilly.com。

如何联系我们

任何有关本书的意见或疑问，请按照以下地址联系出版社。

美国：

O’Reilly Media, Inc.

1005 Gravenstein Highway North

Sebastopol, CA 95472

中国：

北京市西城区西直门南大街2 号成铭大厦C 座807 室（100035）

奥莱利技术咨询（北京）有限公司

我们为本书提供了一个网页，上面列出了勘误表、示例和其他附加信息，地址是： http://bit.ly/stream-proc。

如果有技术问题或希望对本书提出建议，请发送电子邮件至：[email protected]。

欲获取更多有关我们的书籍、教程、会议和新闻等信息，请访问我们的网站http://www.oreilly.com。

欢迎关注我们的Facebook：http://facebook.com/oreilly。

欢迎关注我们的Twitter： http://twitter.com/oreillymedia。

欢迎关注我们的YouTube：http://www.youtube.com/oreillymedia。

欢迎关注作者的Twitter：@fhueske 和@vkalavri。

致谢

本书的出版离不开众多能人志士的帮助和支持，在此由衷地感谢。

书中总结了Apache Flink 社区多年来在设计、开发、测试等方面积累的知识。感谢所有通过代码、文档、评论、Bug 报告、功能需求、邮件列表讨论、培训、会议演讲、聚会组织等一切活动为Flink 做出过贡献的人。

特别感谢Flink 社区的Committer 们：Alan Gates, Aljoscha Krettek,Andra Lungu, ChengXiang Li, Chesnay Schepler, Chiwan Park, Daniel Warneke,Dawid Wysakowicz, Gary Yao, Greg Hogan, Gyula Fóra, Henry Saputra, Jamie Grier,Jark Wu, Jincheng Sun, Konstantinos Kloudas, Kostas Tzoumas, Kurt Young, Márton Balassi, Matthias J. Sax, Maximilian Michels, Nico Kruber,Paris Carbone, Robert Metzger, Sebastian Schelter, Shaoxuan Wang, Shuyi Chen, Stefan ichter,Stephan Ewen, Theodore Vasiloudis, Thomas Weise, Till Rohrmann, Timo Walther, Tzu-Li (Gordon) Tai, Ufuk Celebi, Xiaogang Shi,Xiaowei Jiang, Xingcan Cui。通过本书，我们期待能够吸引世界各地的开发者、工程师以及流处理爱好者加入，进一步扩大Flink 社区。

我们还要感谢那些给予我们无数宝贵建议的技术评审员们：Adam Kawa、Aljoscha Krettek、Kenneth Knowles、Lea Giordano、Matthias J. Sax、Stephan Ewen、Ted Malaska 以及Tyler Akidau，感谢你们为改善内容所做的帮助。

最后，我们由衷地感谢O’Reilly 的相关工作人员：Alicia Young、Colleen Lobner、Christine Edwards、Katherine Tozer、Marie Beaugureau 以及Tim McGovern，感谢你们在这两年半旅途中的陪伴，一起协助我们完成这个项目。

目录

前言 .1

第1 章 状态化流处理概述 .7

传统数据处理架构 .8

事务型处理 8

分析型处理.9

状态化流处理 11

事件驱动型应用 .13

数据管道 14

流式分析 15

开源流处理的演变 .16

历史回顾 17

Flink 快览 18

运行首个Flink 应用 .20

小结 .23

第2 章 流处理基础 . 25

Dataflow 编程概述 25

Dataflow 图 25

数据并行和任务并行 26

数据交换策略 .27

并行流处理 28

延迟和吞吐.28

数据流上的操作 .31

时间语义 .36

流处理场景下一分钟的含义 37

处理时间 38

事件时间 39

水位线 40

处理时间与事件时间 41

状态和一致性模型 .41

任务故障 43

结果保障 44

小结 .46

第3 章 Apache Flink 架构 . 47

系统架构 .47

搭建Flink 所需组件 .48

应用部署 50

任务执行 51

高可用性设置 .52

Flink 中的数据传输 .54

基于信用值的流量控制 56

任务链接 57

事件时间处理 58

时间戳 59

水位线 59

水位线传播和事件时间 61

时间戳分配和水位线生成 63

状态管理 .64

算子状态 65

键值分区状态 .66

状态后端 68

有状态算子的扩缩容 68

检查点、保存点及状态恢复 71

一致性检查点 .71

从一致性检查点中恢复 72

Flink 检查点算法 .74

检查点对性能的影响 79

保存点 79

小结 .82

第4 章 设置Apache Flink 开发环境 83

所需软件 .83

在IDE 中运行和调试Flink 程序 .84

在IDE 中导入书中示例 .84

在IDE 中运行Flink 程序 .87

在IDE 中调试Flink 程序 88

创建Flink Maven 项目 89

小结 .90

第5 章 DataStream API （1.7 版本） . 91

Hello, Flink! 91

设置执行环境 .93

读取输入流.94

应用转换 94

输出结果 95

执行 96

转换操作 .96

基本转换 97

基于KeyedStream 的转换 100

多流转换 104

分发转换 108

设置并行度 111

类型 . 112

支持的数据类型 . 113

为数据类型创建类型信息 116

显式提供类型信息 . 117

定义键值和引用字段 . 118

字段位置 118

字段表达式. 119

键值选择器.120

实现函数 .121

函数类 121

Lambda 函数 122

富函数 123

导入外部和Flink 依赖 124

小结 .125

第6 章 基于时间和窗口的算子 127

配置时间特性 127

分配时间戳和生成水位线 129

水位线、延迟及完整性问题 133

处理函数 .134

时间服务和计时器 .136

向副输出发送数据 .138

CoProcessFunction .140

窗口算子 .141

定义窗口算子 .142

内置窗口分配器 .143

在窗口上应用函数 .148

自定义窗口算子 .155

基于时间的双流Join .167

基于间隔的Join .167

基于窗口的Join .168

处理迟到数据 170

丢弃迟到事件 .170

重定向迟到事件 .171

基于迟到事件更新结果 172

小结 .174

第7 章 有状态算子和应用 . 175

实现有状态函数 176

在RuntimeContext 中声明键值分区状态 .176

通过ListCheckpointed 接口实现算子列表状态 .180

使用CheckpointedFunction 接口 .187

接收检查点完成通知 189

为有状态的应用开启故障恢复 190

确保有状态应用的可维护性 190

指定算子唯一标识 .191

为使用键值分区状态的算子定义最大并行度 192

有状态应用的性能及鲁棒性 192

选择状态后端 .193

选择状态原语 .194

防止状态泄露 .195

更新有状态应用 198

保持现有状态更新应用 199

从应用中删除状态 .200

修改算子的状态 .200

可查询式状态 .202

可查询式状态服务的架构及启用方式203

对外暴露可查询式状态 204

从外部系统查询状态 205

小结 .207

第8 章 读写外部系统 209

应用的一致性保障 .210

幂等性写 211

事务性写 211

内置连接器 213

Apache Kafka 数据源连接器 214

Apache Kafka 数据汇连接器 218

文件系统数据源连接器 222

文件系统数据汇连接器 224

Apache Cassandra 数据汇连接器 .228

实现自定义数据源函数 .232

可重置的数据源函数 233

数据源函数、时间戳及水位线 .235

实现自定义数据汇函数 .236

幂等性数据汇连接器 238

事务性数据汇连接器 239

异步访问外部系统 .248

小结 .251

第9 章 搭建Flink 运行流式应用 253

部署模式 .253

独立集群 254

Docker 256

Apache Hadoop YARN .258

Kubernetes 261

高可用性设置 266

独立集群的HA 设置 267

YARN 上的HA 设置 268

Kubernetes 的HA 设置 270

集成Hadoop 组件 270

文件系统配置 272

系统配置 .274

Java 和类加载.275

CPU 275

内存和网络缓冲 .276

磁盘存储 278

检查点和状态后端 .279

安全性 280

小结 .281

第10 章 Flink 和流式应用运维 283

运行并管理流式应用 .283

保存点 284

通过命令行客户端管理应用 285

通过REST API 管理应用 .292

在容器中打包并部署应用 298

控制任务调度 302

控制任务链接 .302

定义处理槽共享组 .303

调整检查点及恢复 .305

配置检查点.306

配置状态后端 .309

配置故障恢复 . 311

监控Flink 集群和应用 313

Flink Web UI 313

指标系统 316

延迟监控 322

配置日志行为 323

小结 .324

第11 章 还有什么？ 325

Flink 生态的其他组成部分 325

用于批处理的DataSet API .325

用于关系型分析的Table API 及SQL 326

用于复杂事件处理和模式匹配的FlinkCEP .326

用于图计算的Gelly .327

欢迎加入社区 327

大数据