CNN训练模型自动驾驶仿真

「爱情、让人受尽委屈。」 2022-05-14 14:09 388阅读 0赞

# 1. 摘要 #

本文讲解如何根据开源项目\[1\]和Udacity的自动驾驶仿真工具\[2\]，训练一个CNN自动驾驶模型，并在仿真器中看到自己模型的自动驾驶效果。

# 2. 自动驾驶仿真原理 #

自动驾驶仿真的“硬件”原理图如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_27_color_FFFFFF_t_70]

从原理图中，我们需要知道，人在开车的时候，有检测系统采集了如下参数

*  三个摄像机采集的图像：Left，Center，Right
 *  转向角，速度，油门，刹车

摄像机的图像，代表有监督学习的`输入`；转向角，速度，油门，刹车作为有监督学习的`输出`。

下面讲解自动驾驶仿真的具体步骤，本文的系统为Win-10。

# 3. 收集自动驾驶数据 #

在\[2\]中下载最新的模拟器，下载[beta-simulator-windows.zip][]，解压后，双击打开`beta_simulator.exe`，直接点`play`按钮，进入模拟器，如下。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_27_color_FFFFFF_t_70 1]

选择训练模式“TRAINING MODE”，进入训练模式，如下图所示。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_27_color_FFFFFF_t_70 2]

此时，可以用键盘的上下左右按键来控制小车的移动，相当于驾驶员在驾驶小车。

但是，我们控制小车，并不会记录数据。要记录我们驾驶小车的数据，需要按R键，选择数据存储目录，并按Select按钮结束，如下图所示。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_27_color_FFFFFF_t_70 3]

接下来，我们用键盘的上下左右按键来控制小车的移动，就当玩游戏。从这时开始，模拟器就记录小车的移动。

在驾驶模拟小车时，务必好好操作，不要撞墙或驶出边界，因为最终模型学习的就是你的假设经验。

如果想停止驾驶，需要按两次R键，等待模拟器将记录的数据都dump到数据存储目录，最终我们得到模拟器输出的一个csv文件`driving_log.csv`和`IMG`文件夹，文件夹中记录了三个摄像机采集的各个时刻的图像。

至此，数据获取完毕，接下来用这些数据训练模型。

# 4. 训练模型 #

用git clone \[1\]中的项目，并执行如下步骤：

（1） 在项目中创建文件夹`data`，并将模拟器输出的csv文件`driving_log.csv`复制到`data`目录下

（2） 安装Anaconda\[4\]，并根据项目\[1\]中的yml文件创建虚拟环境，执行如下命令

conda env create -f environments.yml

打开`environments.yml`文件，可以看到创建的虚拟环境名为`car-behavioral-cloning`。  
这个步骤下载安装一些module会比较费时，若出现安装失败的情况，可能是网络环境的问题，需要把创建的虚拟环境`car-behavioral-cloning`删除，再重新执行`conda env create -f environments.yml`命令，笔者也是创建了好几次才创建成功的。

（3）训练模型

python model.py

打开`model.py`可以看到，项目中的模型是一个由5层CONV加4个隐层组成的简单CNN模型。我们可以修改这个文件，训练自己的模型。

model = Sequential()
        model.add(Lambda(lambda x: x/127.5-1.0, input_shape=INPUT_SHAPE))
        model.add(Conv2D(24, 5, 5, activation='elu', subsample=(2, 2)))
        model.add(Conv2D(36, 5, 5, activation='elu', subsample=(2, 2)))
        model.add(Conv2D(48, 5, 5, activation='elu', subsample=(2, 2)))
        model.add(Conv2D(64, 3, 3, activation='elu'))
        model.add(Conv2D(64, 3, 3, activation='elu'))
        model.add(Dropout(args.keep_prob))
        model.add(Flatten())
        model.add(Dense(100, activation='elu'))
        model.add(Dense(50, activation='elu'))
        model.add(Dense(10, activation='elu'))
        model.add(Dense(1))

# 5. 仿真运行 #

（1）在项目\[1\]中运行模型

python drive.py model.h5

`drive.py`中，其实是启动了一个socketio的server，与仿真器通信（仿真器是一个socketio的client）。

从这个py文件中，我们可以看到，要控制仿真器中小车的运动，需要向仿真器发送如下两个参数

*  steering\_angle：转向角
 *  throttle：油门

def send_control(steering_angle, throttle):
        sio.emit(
            "steer",
            data={
                'steering_angle': steering_angle.__str__(),
                'throttle': throttle.__str__()
            },
            skip_sid=True)

在小车运动过程中，会通过’telemetry’ event发送小车当前的转向角、油门、车速，以及当前摄像机拍摄的照片到`drive.py`中如下代码

#registering event handler for the server
    @sio.on('telemetry')
    def telemetry(sid, data):
        if data:
            # The current steering angle of the car
            steering_angle = float(data["steering_angle"])
            # The current throttle of the car, how hard to push peddle
            throttle = float(data["throttle"])
            # The current speed of the car
            speed = float(data["speed"])
            # The current image from the center camera of the car
            image = Image.open(BytesIO(base64.b64decode(data["image"])))

仿真器发送过来的数据中，只有小车处于中央位置摄像机拍摄的图像，如下所示

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_27_color_FFFFFF_t_70 4]

这就是模型的输入（当然作者还对图像做了简单的预处理，比如去掉顶部的蓝天和图像下方的车头）。

因为在真实仿真中，只能看到一张图像。而在数据收集步骤中，能看到三张图像，所以在训练模型的过程中，作者在代码中只随机取出三张图像中的一张作为训练集。

（2）打开仿真器，双击打开`beta_simulator.exe`，就能看到小车被算法运行起来了。

# 参考 #

*  \[1\] [https://github.com/llSourcell/How\_to\_simulate\_a\_self\_driving\_car][https_github.com_llSourcell_How_to_simulate_a_self_driving_car]
 *  \[2\] [https://github.com/udacity/self-driving-car-sim][https_github.com_udacity_self-driving-car-sim]
 *  \[3\] [https://www.youtube.com/watch?v=EaY5QiZwSP4&feature=youtu.be][https_www.youtube.com_watch_v_EaY5QiZwSP4_feature_youtu.be]
 *  \[4\] [https://blog.csdn.net/ybdesire/article/details/50966139][https_blog.csdn.net_ybdesire_article_details_50966139]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_27_color_FFFFFF_t_70]: /images/20220504/9239de3cc19b4823a2ae3e3fe46a7288.png
[beta-simulator-windows.zip]: https://d17h27t6h515a5.cloudfront.net/topher/2017/February/58983318_beta-simulator-windows/beta-simulator-windows.zip
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_27_color_FFFFFF_t_70 1]: /images/20220504/345edfb921534f10a9d527db9d24ec2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_27_color_FFFFFF_t_70 2]: /images/20220504/06bf28bd08c0405c8c72db5d370d8a4e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_27_color_FFFFFF_t_70 3]: /images/20220504/d44539db00464b21b4877f3323caade1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3liZGVzaXJl_size_27_color_FFFFFF_t_70 4]: /images/20220504/4ab3628c3ef94260b549b1f10814d488.png
[https_github.com_llSourcell_How_to_simulate_a_self_driving_car]: https://github.com/llSourcell/How_to_simulate_a_self_driving_car
[https_github.com_udacity_self-driving-car-sim]: https://github.com/udacity/self-driving-car-sim
[https_www.youtube.com_watch_v_EaY5QiZwSP4_feature_youtu.be]: https://www.youtube.com/watch?v=EaY5QiZwSP4&feature=youtu.be
[https_blog.csdn.net_ybdesire_article_details_50966139]: https://blog.csdn.net/ybdesire/article/details/50966139