DevFrank .
打工人一枚｜分享有用的科技&生活知识

图书介绍

《边玩边学自动驾驶》内容包括自动驾驶定义、技术发展历程以及主流技术架构；以开源游戏SuperTuxKart为基础的虚拟环境用来打造端到端自动驾驶；感知、预测、规控等算法模块部分，是一个五脏俱全的自动驾驶hello-world，让我们跟着这位自动驾驶前辈从不同的视角学习自动驾驶技术。
虽然不是很厚（167页），但却有多位业界专家如黄浴老师等力荐并写序和推荐语！

1 基础知识

自“ChatGPT时刻”后，我们真切地感受到了人工智能这一正在真切发生的技术革命，以“生成式人工智能”为代表的人工智能技术正在娱乐、医疗、金融等各方面逐步渗透我们的生活。而自动驾驶，也是人工智能技术应用于汽车的重要表现，相信未来这一技术终将改变我们的生活方式。
自动驾驶技术的发展历程离不开两家关键的公司——Waymo和Tesla，一家最初就致力于研发最先进的L4级自动驾驶技术，一家则开创了自动驾驶技术在量产车型中落地的时代，作者用了一个比喻——如果说Waymo是“少林”，那么Tesla堪称“武当”！
此外还有一股来自中国的发展力量，那就是2015年开启自动驾驶研发计划的百度，此后相继涌现出如小马、文远、安途、元戎等大批自动驾驶创业公司，或多或少都带有百度的基因，因此业内也将百度称为“中国无人驾驶的黄埔军校”！
与机器人的技术架构一样，自动驾驶也常被分为硬件、软件和平台三大模块，可以理解为一种分层的、模块化技术架构；随着人工智能的发展，另一种技术架构——端到端自动驾驶大模型也逐步清晰，第一个端是输入，接收传感器信息，第二个端是输出，直接给出车辆控制信号。

与大语言模型一样，端到端自动驾驶大模型成功的关键在于大数据和大算力；需要海量的高质量驾驶数据作为训练输入（除了使用真实驾驶数据监督学习外，还可使用仿真生成的驾驶环境进行强化学习或生成对抗网络）。

与各种新技术一样，自动驾驶大模型虽然也经历了早期探索的失败，但随着大数据、大算力和模型理论等的发展，又迎来了新的机遇。24年Tesla发布的FSD v12首次验证了端到端自动驾驶大模型的可用性。

2 端到端自动驾驶大模型

（本书源码Github：bang-drive/book-platform）
作者以SuperTuxKart这款3D赛车游戏为基础构建了一套包含Linux及第三方库和构建工具的Docker镜像，实现三个步骤启动环境：
./bang/docker/start.sh./bang/build.sh./bang/run.sh

由于本书重点关注自动驾驶算法，通信中间件没有用ROS、CyberRT等，而使用Redis数据库作为通信中间件来实现消息收发，已经包含在了start.sh中，并在平台层使用C++，算法层使用Python。
在模型设计上，可以把驾驶动作简化为0:直行 1:左转 2:右转，对于这种仅有三个类别的“分类问题”，可以用一个小模型进行学习如ResNet18。

采集数据，然后用torch和torchvision框架完成模型训练代码的开发；根据测试效果，可以用提高数据平衡性、ROI预处理等方法进行优化迭代（OpenCV和Pillow等常用于原始数据等预处理）。

3 多模块自动驾驶技术

感知模块介绍了使用OpenCV进行BEV透视变换、道路检测、YOLO障碍物检测等代码实例，也对多模态融合感知模型、BEV、占用网格等前沿方向进行了简单介绍（CVPR、ICCV、ECCV会议）。

连续的感知结果其实提供了一个四维时空环境，预测模块的作用就是将这个四维时空沿着时间轴向前延伸（路径估计、速度估计等），为下游规划模块提供依据。

规划模块一般包含路径规划和速度规划两部分，负责输出几何轨迹以及在各种动态约束下的精确配速。前沿方向有路径与速度联合规划、基于深度学习的规划等（ICRA、IROS、IV会议）。

控制模块是一个相对成熟的模块，主要是根据规划方案，结合车辆动力学特性，计算出精确的车辆控制信号。前沿方向有鲁棒性和容错控制、非线性控制等（CDC、ACC会议）。

4 自动驾驶行业

以上介绍的是单车智能方案，在单车之外，还有多车协同V2V、车云协同V2C和车路协同V2I这套国内特色的智能网联方案（V2X）。
在安全方面，除车辆自身的功能安全外，还有网络安全、人工智能安全等。各类法规和标准等诞生也在促使自动驾驶技术更加合规。

以上，如书名，作者提供了一个寓教于乐、可以上手的自动驾驶平台，便于初学者熟悉相关技术和实操。