讲解了网络大数据时代应运而生的、能高效迅捷地分析处理数据的工具——Spark，它带领读者快速掌握用 Spark 收集、计算、简化和保存海量数据的方法，学会交互、迭代和增量式分析，解决分区、数据本地化和自定义序列化等问题。

全栈工程师，长期涉足大数据的研发工作。拥有丰富的大数据经验，曾担任多家知名企的主力研发，同时负责大数据云服务组件开发。精通Java、Scala、Python等多种编程语言，擅长大数据生态圈的研发、算法、逆向工程等技术。为多家企业提供技术支持，并长期面向企业一线开发人员分享实战经验。

=第1篇 准备
-
第1章 认识大数据和Spark 2
1.1 大数据的介绍 2
1.2 Apache Spark能做什么 3
1.3 其他分布式数据处理框架 4
1.4 如何使用本书 4
∣1.4.1 需要提前具备的基础 4
∣1.4.2 准备相关开发环境 4
∣1.4.3 如何学习本书 5
-
第2章 安装与配置Spark集群 6
2.1 下载Spark安装包 6
2.2 检查与准备集群环境 7
2.3 了解目前集群中已经部署的框架服务 11
2.4 部署Spark集群 12
∣2.4.1 实例1：基于Standalone模式部署Spark集群 12
∣2.4.2 实例2：部署Spark的历史服务——Spark History Server 16
∣2.4.3 实例3：基于Standalone模式部署高可用的Master服务 18
∣2.4.4 实例4：基于YARN模式部署Spark集群 20
∣2.4.5 Standalone模式与YARN模式的特点 22
2.5 本章小结 23
-
第3章 第1个Spark程序 24
3.1 运行第1个Spark程序 24
∣3.1.1 实例5：基于Standalone模式运行第1个Spark程序 24
∣3.1.2 实例6：基于YARN模式运行第1个Spark程序 27
∣3.1.3 提交Spark程序时的参数规范 30
3.2 使用spark-shell编写并运行WordCount程序 30
∣3.2.1 实例7：启动spark-shell 31
∣3.2.2 实例8：在spark-shell中编写WordCount程序 32
3.3 使用IDEA编写并运行WordCount程序 34
∣3.3.1 实例9：准备开发环境，并构建代码工程 34
∣3.3.2 实例10：使用IDEA编写WordCount程序 41
∣3.3.3 实例11：在IDEA中本地运行WordCount程序 44
∣3.3.4 实例12：在IDEA中远程运行WordCount程序 46
∣3.3.5 实例13：打包程序，并提交至集群运行 48
3.4 本章小结 49
=
第2篇 入门
-
第4章 读写分布式数据——基于Spark Core 52
4.1 RDD的诞生 52
4.2 进一步理解RDD 53
∣4.2.1 数据存储 53
∣4.2.2 数据分析 55
∣4.2.3 程序调度 56
4.3 读取数据并生成RDD 57
∣4.3.1 实例14：读取普通文本数据 58
∣4.3.2 实例15：读取JSON格式的数据 59
∣4.3.3 实例16：读取CSV、TSV格式的数据 61
∣4.3.4 实例17：读取SequenceFile格式的数据 62
∣4.3.5 实例18：读取Object格式的数据 64
∣4.3.6 实例19：读取HDFS中的数据——显式调用Hadoop API 66
∣4.3.7 实例20：读取MySQL数据库中的数据 68
4.4 保存RDD中的数据到外部存储 70
∣4.4.1 实例21：保存成普通文本文件 70
∣4.4.2 实例22：保存成JSON文件 71
∣4.4.3 实例23：保存成CSV、TSV文件 73
∣4.4.4 实例24：保存成SequenceFile文件 74
∣4.4.5 实例25：保存成Object文件 75
∣4.4.6 实例26：保存成HDFS文件——显式调用Hadoop API的方式 76
∣4.4.7 实例27：写入MySQL数据库 78
4.5 本章小结 80
-
第5章 处理分布式数据——基于Spark Core 81
5.1 RDD的转换（transformations）操作——转换数据形态 81
∣5.1.1 实例28：基础转换操作 81
∣5.1.2 实例29：键值对转换操作 103
5.2 RDD的行动（actions）操作——触发执行任务计划 115
∣5.2.1 实例30：基础行动操作 116
∣5.2.2 实例31：键值对行动操作 125
∣5.2.3 实例32：数值行动操作 127
5.3 本章小结 128
=
第3篇 进阶
-
第6章 RDD的高级操作 130
6.1 缓存RDD 130
∣6.1.1 缓存RDD的基础知识 130
∣6.1.2 实例33：缓存与释放RDD 133
6.2 RDD的检查点（Checkpoint）机制 139
∣6.2.1 了解Checkpoint机制 139
∣6.2.2 实例34：使用Checkpoint机制 141
∣6.2.3 Checkpoint机制的工作流程 144
6.3 RDD的依赖关系 145
∣6.3.1 窄依赖（narrow dependencies） 145
∣6.3.2 宽依赖（wide/shuffle dependencies） 148
∣6.3.3 实例35：让子RDD混合依赖依赖多个父RDD 151
∣6.3.4 实例36：词频统计——总结运算过程涉及的概念 153
6.4 累加器（Accumulator） 155
∣6.4.1 认识累加器 155
∣6.4.2 实例37：使用系统累加器1——长整数、双精度浮点数累加器 156
∣6.4.3 实例38：使用系统累加器2——集合累加器 159
∣6.4.4 实例39：自定义累加器 160
6.5 广播（Broadcast）——将数据块缓存到所有节点 164
∣6.5.1 认识广播 165
∣6.5.2 实例40：使用广播补全数据 165
6.6 本章小结 168
-
第7章 用SQL语法分析结构化数据——基于Spark SQL 169
7.1 为什么会产生Spark SQL 169
7.2 认识DataFrame与Dataset数据类型 170
∣7.2.1 认识DataFrame 170
∣7.2.2 认识Dataset 171
7.3 实例41：通过Dataset、DataFrame分析用户数据 172
∣7.3.1 用spark-shell编写程序 172
∣7.3.2 用IDEA编写程序 175
7.4 不同Spark版本的操作差异 177
∣7.4.1 认识SQLContext与HiveContext 178
∣7.4.2 认识SparkSession 178
7.5 DataFrame、Dataset的基本操作 179
∣7.5.1 DSL与SQL的语法风格 179
∣7.5.2 使用临时视图的注意事项 181
∣7.5.3 实例42：读取JSON、CSV格式的数据 183
∣7.5.4 实例43：读取Parquet格式的数据 185
∣7.5.5 实例44：读取代码中动态生成的数据 185
∣7.5.6 实例45：读取关系型数据库中的数据 188
∣7.5.7 实例46：输出Dataset、DataFrame中的数据 189
∣7.5.8 实例47：RDD、DataFrame、Dataset之间的相互转换 192
7.6 用户自定义函数 195
∣7.6.1 实例48：实现“一进一出”的UDF 195
∣7.6.2 实例49：实现“多进一出”的UDAF 198
∣7.6.3 实例50：实现“一进多出”的UDTF 208
7.7 集成Spark SQL与Hive 211
∣7.7.1 已经部署Hive框架 211
∣7.7.2 尚未部署Hive框架 215
7.8 本章小结 215
-
第8章 实时处理流式数据——基于Spark Streaming 216
8.1 为什么会产生Spark Streaming 216
8.2 第1个Spark Streaming程序 216
∣8.2.1 实例51：用spark-shell编写程序 216
∣8.2.2 实例52：用IDEA编写程序 221
8.3 什么是DStream 222
∣8.3.1 认识DStream 222
∣8.3.2 认识DStreamGraph 223
8.4 读取数据到DStream中 227
∣8.4.1 实例53：读取HDFS文件夹中的数据 227
∣8.4.2 实例54：读取RDD组成的数据队列 229
∣8.4.3 实例55：实时读取Flume中的数据 230
∣8.4.4 实例56：用高阶API实时读取Kafka中的数据 235
∣8.4.5 实例57：用低阶API实时读取Kafka中的数据 242
8.5 Spark Streaming中的几个时间概念 251
∣8.5.1 批处理间隔 251
∣8.5.2 窗口时间宽度与滑动时间宽度 252
∣8.5.3 实例58：使用窗口操作，每两秒钟统计10秒内的平均温度 254
8.6 DStream的操作总结 259
∣8.6.1 DStream的操作说明 259
∣8.6.2 实例59：直接面向DStream中的RDD进行数据分析 261
∣8.6.3 实例60：将DStream中的数据实时输出至外部存储系统 263
∣8.6.4 实例61：对Dstream进行join操作 267
8.7 DStream中的转换分类 269
∣8.7.1 无状态转换 269
∣8.7.2 有状态转换 270
∣8.7.3 实例：用有状态转换做全局词频统计 270
8.8 在Spark Streaming中的缓存与Checkpoint 272
∣8.8.1 认识Spark Streaming中的Checkpoint 273
∣8.8.2 实例62：使用Spark Streaming中的Checkpoint 273
8.9 Spark Streaming中的累加器与广播变量 276
∣8.9.1 认识累加器与广播变量 276
∣8.9.2 实例63：自定义累加器，并结合无状态转换，实现实时的全局词频统计 276
8.10 关闭Spark Streaming程序 280
∣8.10.1 关闭程序的方案 281
∣8.10.2 实例64：合理关闭一个运行中的Spark Streaming程序 281
8.11 本章小结 284
=
第4篇 高阶
-
第9章 实时处理流式数据——基于Structured Streaming 286
9.1 为什么会产生Structured Streaming 286
9.2 第1个Structured Streaming程序 287
∣9.2.1 实例65：用spark-shell编写程序 287
∣9.2.2 实例66：用IDEA编写程序 289
9.3 Structured Streaming的编程模型 291
9.4 输入数据——生成Streaming Dataset、 Streaming DataFrame 292
∣9.4.1 实例67：根据文件生成工作流 292
∣9.4.2 实例68：根据文件、文件夹生成自动分区的工作流 295
∣9.4.3 实例69：根据Kafka以Streaming模式生成工作流 297
∣9.4.4 实例70：以Kafka为数据源，通过Batch方式生成工作流 300
∣9.4.5 实例71：根据指定速率生成工作流 304
9.5 基于事件时间的窗口操作 305
∣9.5.1 事件时间窗口的工作方式 305
∣9.5.2 实例72：事件时间窗口的生成规则 307
∣9.5.3 实例73：基于事件时间窗口实现词频统计 311
9.6 基于Watermark处理延迟数据 314
∣9.6.1 Watermark的作用 314
∣9.6.2 实例74：基于Update模式实现词频统计，并结合Watermark处理延迟数据 314
∣9.6.3 实例75：基于Append模式实现词频统计，并结合Watermark处理延迟数据 320
∣9.6.4 Watermark的底层工作原理 322
∣9.6.5 总结：Watermark机制与输出模式 329
9.7 实例76：在处理流式数据时去除重复数据 330
9.8 Structured Streaming中的join操作 332
∣9.8.1 实例77：在Stream-Static模式下的inner join操作 333
∣9.8.2 实例78：在Stream-Stream模式下的inner join操作 335
∣9.8.3 总结：已经支持的join操作 340
9.9 在Structured Streaming中实现数据分组， 并手动维护分组状态 341
∣9.9.1 实例79：通过mapGroupsWithState实现数据分组，并手动维护分组状态 341
∣9.9.2 实例80：通过flatMapGroupsWithState实现数据分组，并手动维护分组状态 347
∣9.9.3 总结：手动维护状态与Watermark的使用技巧 352
9.10 输出分析结果 353
∣9.10.1 输出模式（Output Mode）的使用场景 353
∣9.10.2 实例81：基于File Sink输出数据 354
∣9.10.3 实例82：基于Kafka Sink，以Streaming方式输出数据 356
∣9.10.4 实例83：基于Kafka Sink，以Batch方式输出数据 358
∣9.10.5 实例84：基于Console Sink输出数据 360
∣9.10.6 实例85：基于Memory Sink输出数据 360
∣9.10.7 实例86：基于Foreach Sink输出数据 362
∣9.10.8 实例87：基于ForeachBatch Sink输出数据 367
∣9.10.9 总结：不同Sink所适用的输出模式 369
9.11 Trigger触发器的分类 370
9.12 管理与监控工作流 370
∣9.12.1 管理工作流 370
∣9.12.2 监控工作流 372
9.13 Structured Streaming中的Checkpoint机制 372
9.14 连续处理模式——Continuous Processing 373
9.15 本章小结 374
-
第10章 Spark的相关优化 375
10.1 优化Spark程序 375
∣10.1.1 实例88：尽可能减少或避免出现Shuffle过程 375
∣10.1.2 实例89：使用Kryo作为序列化方案 377
∣10.1.3 尽可能批量操作数据 381
∣10.1.4 合理设置分区数 381
∣10.1.5 合理设置批处理间隔 381
10.2 优化数据 382
∣10.2.1 关于数据倾斜 382
∣10.2.2 实例90：使用自定义Partitioner缓解数据倾斜 383
∣10.2.3 关于数据补全 387
10.3 调优资源 388
10.4 本章小结 390
=
第5篇 商业项目实战
-
第11章 实战：学生学习情况分析系统 392
11.1 项目概述 392
∣11.1.1 业务背景 392
∣11.1.2 划分业务模块 392
11.2 开发环境说明 393
11.3 项目实现 394
∣11.3.1 构建工程 394
∣11.3.2 模拟数据 395
∣11.3.3 实时发送数据到Kafka 399
∣11.3.4 实时分析平台答题数据 402
∣11.3.5 构建推荐模型 405
∣11.3.6 实时推荐题目 411
∣11.3.7 离线学情分析 415
11.4 本章小结 422