基于神经网络的智能RC小车（Python+OpenCV）

看代码时发现的一个有趣的例子，实现使用四大利器：

Raspberry Pi + Arduino + OpenCV Neural Network + RC CAR

硬件速览

指示停车

效果如下：

绿灯行

红灯停

使用RC车，Raspberry Pi，Arduino和开源软件的自动驾驶系统的缩小版本。该系统使用带有相机和超声波传感器的Raspberry Pi作为输入，处理转向，物体识别（停车标志和交通灯）和距离测量的处理计算机以及用于RC车辆控制的Arduino板。

raspberrt_pi /
- stream_client.py：以jpeg格式将视频帧流式传输到主机
- ultrasonic_client.py：将由传感器测量的距离数据发送到主机
Arduino的/
- rc_keyboard_control.ino：作为rc控制器和计算机之间的接口，允许用户通过USB串行接口发送命令
电脑/
- cascade_xml /
  - 训练级联分类器xml文件
- 棋盘/
  - 用于校准的图像，由pi相机捕获
- training_data /
  - 以npz格式训练神经网络的图像数据
- testing_data /
  - 以npz格式测试神经网络的图像数据
- training_images /
  - 在图像训练数据采集阶段保存视频帧（可选）
- mlp_xml /
  - 在xml文件中训练神经网络参数
- rc_control_test.py：带键盘的驱动RC车（测试目的）
- picam_calibration.py：pi相机校准，返回相机矩阵
- collect_training_data.py：接收流式视频帧和标签框以供后续培训
- mlp_training.py：神经网络训练
- mlp_predict_test.py：用测试数据测试训练有素的神经网络
- rc_driver.py：多线程服务器程序接收视频帧和传感器数据，并允许RC车载驱动器本身具有停车标志，交通灯检测和前碰撞避免能力

Flash Arduino：Flash “rc_keyboard_control.ino”到Arduino并运行“rc_control_test.py”来驱动rc车用键盘（测试目的）
Pi相机校准：使用pi相机以各种角度拍摄多张棋盘图像，并将其放入“chess_board”文件夹中，运行“picam_calibration.py”，并返回相机矩阵，这些参数将用于“rc_driver.py”
收集培训数据和测试数据：首先运行“collect_training_data.py”，然后在raspberry pi上运行“stream_client.py”。用户按键盘驱动RC车，只有当有按键动作时才保存框架。完成驾驶后，按“q”退出，数据保存为npz文件。
神经网络训练：运行“mlp_training.py”，取决于所选择的参数，需要一些时间训练。培训后，参数保存在“mlp_xml”文件夹中
神经网络测试：运行“mlp_predict_test.py”从“test_data”文件夹加载测试数据，并从“mlp_xml”文件夹中的xml文件中训练参数
级联分类器训练（可选）：训练有素的停车标志和交通灯分类器包含在“cascade_xml”文件夹中，如果您有兴趣培训您自己的分类器，请参考OpenCV文档和Thorsten Ball
自驾驾驶：首先运行“rc_driver.py”在计算机上启动服务器，然后在raspberry pi上运行“stream_client.py”和“ultrasonic_client.py”。