本书将使用OpenCV完成各种任务，包括行人检测和车道检测。本书将讲述深度学习并介绍如何利用它进行图像分类、对象检测和语义分割，使用它来识别行人、汽车、道路、人行道和交通信号灯，同时帮助读者了解一些有影响力的神经网络算法。本书中还将使用Carla模拟器通过行为克隆和PID控制器来控制汽车；了解网络协议、传感器、摄像头以及使用激光雷达来绘制周围的世界并找到相应位置。本书适合具备任何一种编程语言基础的程序员，以及车辆工程和自动驾驶相关专业的研究生阅读使用。

精装图书，印装精美
手把手教您进行操作，完成自动驾驶各种任务
贴合工程实际应用，上手快

自动驾驶汽车即将在人们的生活中得到广泛应用。自动驾驶领域的发展和进步令人叹为观止。作者第一次听说自动驾驶汽车是在2010年，当时作者在东京的丰田展厅试乘过一次，乘车费用约为1美元。汽车行驶得很缓慢，这辆车非常明显地依赖嵌入道路的传感器。

几年后，激光雷达和计算机视觉和深度学习取得了很大进步，使得之前的技术看起来非常原始，存在对道路不必要的改造，成本高昂。

本书将使用OpenCV完成各种任务，包括行人识别和车道识别；读者将会探索深度学习并学习如何将其用于图像分类、目标检测和语义分割，并用它来识别行人、汽车、道路、人行道和交通信号灯，同时学习一些影响最深远的神经网络算法。

经过对本书的学习，读者将能熟练使用Carla模拟器，基于该模拟器使用行为克隆和PID控制器来控制汽车；了解网络协议、传感器、摄像头，以及如何使用激光雷达来对周围世界进行建图和定位。

但在深入研究这些惊人的技术之前，请花点时间想象一下20年以后的未来。汽车会是什么样子？它们可以实现自动驾驶吗？那时候汽车能飞起来吗？交通信号灯那时还是否会存在？那些汽车多快、多重，又有多贵？人们如何使用汽车以及人们使用汽车的频率如何？自动驾驶公交车和货车又将如何发展？

人们无法预知未来，但可以想象，自动驾驶汽车和一切能够自动驾驶的事物将以令人兴奋的新方式塑造人们的城市和日常生活。

读者想在定义未来中发挥积极作用吗？如果是，请继续阅读下去。本书会成为这场旅程的开端。

本书面向的读者

这本书涵盖了建造自动驾驶汽车所需的几个方面，适用于具备任何一种编程语言 （zuihao是Python） 基础知识的程序员。读者不需要具备深度学习的经验，但是，若要wanquan理解zui高阶的章节，学习一些扩展阅读的内容可能会有所帮助。与第11章相关的参考源代码是用C 语言编写的。

本书内容

第1章，OpenCV基础知识和摄像头标定，介绍了OpenCV和NumPy；讲解如何处理图像和视频，如何使用OpenCV检测行人；此外还解释了摄像头的工作原理以及如何使用OpenCV对其进行校准。

第2章，理解和使用信号，介绍了不同类型的信号：串行、并行、数字、模拟、单端和差分信号，并讲解了一些非常重要的协议：CAN、以太网、TCP和UDP。

第3章，车道检测，涵盖使用OpenCV检测路上车道所需的一切。本章介绍了阈值处理、透视校正、边缘检测、直方图、滑动窗口算法以及获得zui佳检测所需的滤波。

第4章，基于神经网络的深度学习，介绍了一般的神经网络，特别是卷积神经网络。本章还介绍了Keras （一个深度学习模块），并展示了如何用它来检测手写数字和对一些图像进行分类。读者通过本章学习，能够快速掌握编写神经网络的方法。

第5章，深度学习工作流，恰当地补充了第4章中基于神经网络的深度学习。本章介绍了神经网络理论和典型工作流的步骤：获取或创建数据集，将其拆分为训练、验证和测试集，进行数据增强，在分类器中使用的主要层以及如何训练、推理和重新训练。本章还介绍了欠拟合和过拟合，并解释了如何将卷积层的激活情况可视化。

第6章，改进神经网络，解释了如何优化神经网络、减少其参数，以及如何使用批量归一化、早终止、数据增强和随机失活 (Dropout) 来提高其验证准确性。

第7章，检测行人和交通信号灯，介绍自动驾驶汽车模拟器Carla，并用它来创建交通信号灯数据集。本章还使用被称为SSD的预训练神经网络检测行人、汽车和交通信号灯，以及使用名为迁移学习的强大技术来训练神经网络，以便根据交通信号灯的颜色对其进行分类。

第8章，行为克隆，讲解如何训练神经网络来驱动Carla，解释了行为克隆是什么，如何使用Carla构建驱动数据集，如何创建适合此任务的网络以及如何对其进行训练。本章还使用显著图来了解网络正在学习什么，并将其与Carla集成以帮助它自驱动。

第9章，语义分割，这是关于深度学习的最后一章，也是zui高阶的一章，解释了什么是语义分割。本章详细介绍了一个非常有趣的DenseNet架构，展示了如何使其适用于语义分割。





第10章，转向、加速和制动控制，本章内容涉及控制自动驾驶汽车，解释了什么是控制器，重点介绍了PID控制器并涵盖了MPC控制器的基础知识。最后将在Carla中实现一个PID控制器的控制。

第11章，环境建图，这是本书最后一章。本章讨论了地图、定位和激光雷达，并介绍了一些开源建图工具。读者将了解到什么是同步定位与地图构建(SLAM)，以及如何使用Ouster激光雷达和Google Cartographer实现它。

充分利用本书

本书假定读者已经具备Python的基础知识，熟悉所用操作系统的命令解析器shell。读者需要安装Python，也可能用到虚拟环境来匹配本书中使用的软件版本。建议使用GPU，因为没有GPU的训练会很艰难。Docker将有助于第11章环境建图。

本书使用的软件见下表：


本书用到的软件/硬件
操作系统要求
Python 3.7
无
TensorFlow 2.2
无
Keras 2.3
无
Carla 0.9.9.2
无

如果读者使用的是本书的电子版，建议自己输入代码或通过github代码仓访问代码。这样做有助于避免与复制粘贴代码

Luca Venturi曾在shijie级公司（包括法拉利和Opera软件）担任程序员，具有丰富的工作经验。他还曾为一些初创公司工作，包括Activetainment（世界上第一辆智能自行车的制造商）、Futurehome（智能家居解决方案供应商）和CompanyBook（其产品将人工智能应用于销售）。他曾在Tapad（Telenor集团）的数据平台团队工作，使公司其他部门能够访问数以亿计的数据，现在是Piano软件公司分析数据库的首席工程师。


Krishtof Korda曾在Lyft公司为5级自动驾驶汽车设计传感器集成。现在，他作为Ouster的应用工程师，在机器人、飞行器、无人机和采矿等领域负责整合激光雷达的工作。此外，他喜欢参加Enduro山地自行车比赛。

前 言
第一部分
OpenCV和传感器及信号
第1 章　OpenCV 基础知识和摄像头标定／ ００２
1.1　技术需求／ ００３
1.2　OpenCV 和NumPy 简介／ ００３
1.2.1　OpenCV 和NumPy ／ ００３
1.2.2　图像大小／ ００３
1.2.3　灰度图／ ００４
1.2.4　RGB 图／ ００５
1.3　处理图像文件／ ００６
1.4　处理视频文件／ ００７
1.5　图像处理／ ００８
1.5.1　图像翻转／ ００９
1.5.2　图像模糊化／ ００９
1.5.3　改变对比度、亮度和灰度系数／ ０１１
1.5.4　绘制矩形和文本／ ０１２
1.6　使用HOG 进行行人检测／ ０１３
1.6.1　滑动窗口／ ０１３
1.6.2　使用OpenCV 中的HOG ／ ０１３
1.6.3　摄像头简介／ ０１４
1.6.4　摄像头术语／ ０１５
1.6.5　摄像头组件／ ０１９
1.6.6　选择摄像头的注意事项／ ０１９
1.6.7　摄像头的优点和缺点／ ０２０
1.7　使用OpenCV 进行摄像头标定／ ０２１
1.7.1　畸变检测／ ０２２
1.7.2　校准／ ０２２
1.8　总结／ ０２３
1.9　问题／ ０２４
第2 章　理解和使用信号／ ０２５
2.1　技术需求／ ０２６
2.2　理解信号的类型／ ０２６
2.3　模拟信号与数字信号／ ０２６
2.4　串行和并行／ ０２８
2.4.1　通用异步接收和发送（UART） ／ ０２９
2.4.2　差分与单端／ ０３２
2.4.3　I2 C ／ ０３４
2.4.4　SPI ／ ０３６
2.5　基于帧的串行协议／ ０３９
2.5.1　理解CAN ／ ０３９
2.5.2　以太网和因特网协议／ ０４２
2.5.3　理解UDP ／ ０４４
2.5.4　理解TCP ／ ０４５
2.6　总结／ ０４８
2.7　问题／ ０４８
2.8　扩展阅读／ ０４９
第3 章　车道检测／ ０５０
3.1　技术需求／ ０５１
3.2　阈值处理／ ０５１
3.2.1　阈值在不同颜色空间中如何工作／ ０５１
3.2.2　RGB/BGR ／ ０５２
3.2.3　HLS ／ ０５３
3.2.4　HSV ／ ０５４
3.2.5　LAB ／ ０５４
3.2.6　YCbCr ／ ０５５
3.2.7　选择通道／ ０５５
3.3　透视校正／ ０５５
3.4　边缘检测／ ０５７
3.4.1　插值阈值／ ０５９
3.4.2　组合阈值／ ０６０
3.5　利用直方图确定车道线／ ０６１
3.6　滑动窗口算法／ ０６２
3.6.1　初始化／ ０６３
3.6.2　滑动窗口坐标／ ０６３
3.6.3　多项式拟合／ ０６４
3.7　增强视频／ ０６５
3.8　滚动平均／ ０６６
3.9　总结／ ０６６
3.10　问题／ ０６７
第二部分
利用深度学习和神经网络改进自动
驾驶汽车的工作方式
第4 章　基于神经网络的深度学习／ ０７０
4.1 　技术需求／ ０７１
4.2　理解机器学习和神经网络／ ０７１
4.2.1　神经网络／ ０７２
4.2.2 　神经元／ ０７２
4.2.3　参数／ ０７４
4.2.4　深度学习的成功／ ０７４
4.3 　了解卷积神经网络／ ０７５
4.3.1　卷积／ ０７５
4.3.2 　为什么卷积这么棒／ ０７６
4.4 　Keras 和TensorFlow 入门／ ０７７
4.5 　检测MNIST 手写数字／ ０７８
4.5.1　刚刚加载了什么／ ０７８
4.5.2 　训练样本和标签／ ０７９
4.5.3　独热编码／ ０８０
4.5.4　训练数据集和测试数据集／ ０８１
4.6 　确定神经网络模型／ ０８１
4.6.1　LeNet ／ ０８１
4.6.2 　代码／ ０８２
4.6.3　框架／ ０８３
4.6.4　训练神经网络／ ０８４
4.6.5　CIFAR?10 数据集／ ０８７
4.7 　总结／ ０９２
4.8　问题／ ０９２
4.9 　扩展阅读／ ０９２
第5 章　深度学习工作流／ ０９３
5.1 　技术需求／ ０９４
5.2　获取数据集／ ０９４
5.2.1　Keras 模块中的数据集／ ０９４
5.2.2 　现有数据集／ ０９５
5.2.3　合成数据集／ ０９６
5.2.4　自定义数据集／ ０９６
5.3 　理解三种数据集／ ０９６
5.4 　理解分类器／ ０９８
5.4.1　生成真实数据集／ ０９９
5.4.2 　数据增强／ ０９９
5.5 　模型／ １０１
5.5.1　调整卷积层／ １０２
5.5.2 　调整最大池化层／ １０５
5.5.3　调整全连接层／ １０６
5.5.4　如何训练神经网络／ １０７
5.5.5　随机初始化／ １０８
5.5.6　过拟合与欠拟合／ １０９
5.6 　可视化激活／ １１０
5.7 　推理／ １１２
5.8　重训练／ １１３
5.9 　总结／ １１３
5??10 　问题／ １１４
第6 章　改进神经网络／ １１５
6.1 　技术需求／ １１６
6.2　更大的模型／ １１６
6.2.1　出发点／ １１６
6.2.2 　提高速度／ １１７
6.2.3　增加深度／ １１９
6.3 　更高效的神经网络／ １２１
6.4 　通过批归一化构建更智能的
神经网络／ １２４
6.5 　早停法／ １２８
6.6 　通过数据增强改进数据集／ １２８
6.7 　使用随机失活提高验证准确率／ １３１
6.7.1　将模型应用于MNIST 数据集／ １３５
6.7.2 　现在轮到你了／ １３６
6.8　总结／ １３７
6.9 　问题／ １３７
第7 章　检测行人和交通信号灯／ １３８
7.1 　技术需求／ １３９
7.2　使用SSD 检测行人、车辆和交通信号灯／ １３９
7.2.1　使用Carla 模拟器收集图像／ １３９
7.2.2 　解读SSD ／ １４３
7.2.3　探索TensorFlow 检测模型库／ １４３
7.2.4　下载和加载SSD ／ １４５
7.2.5　运行