江苏龙网

  1. 首页 > 人文 > >

无人科技|使用Basler相机和图像采集卡实现自动驾驶技术


使用最高级别的L5级自动驾驶技术时 ， 车上的乘客无须介入驾驶过程 ， 也完全不需要司机进行操控 。 这项特殊的工程成果已由GreenTeam Stuttgart（斯图加特绿队）的学生们成功实现 ， 目前只限在指定的测试和赛道中使用 ， 以避免事故风险 。

无人科技|使用Basler相机和图像采集卡实现自动驾驶技术
本文插图

无人操纵的“bolide”电动赛车
该系统的关键在于从图像采集到结果输出的高难度实时行为 ， 这也是将基于FPGA的图像采集卡作为首选组件的原因 ， 相机分辨率在决定过程中也发挥了重要作用 。
Basler解决方案及优势
赛车中的图像处理系统由传感器阵列组成 ， 其中包括连接到GPU的激光雷达传感器和两台Basler ace acA1300-75gc彩色面阵相机 ， 并通过GigE Vision接口将数据传输到microEnable IV VQ4-GPoE图像采集卡 。 在数字控制信号的处理方面 ， 图像采集卡配备了特殊的扩展卡Opto-Trigger 5 。 图像处理系统可通过开发环境VisualApplets获得所需的功能 ， 借助VisualApplets ， 团队可在FPGA上针对适当的应用程序进行图形化编程 ， 只需较短时间即可完成 。

无人科技|使用Basler相机和图像采集卡实现自动驾驶技术
本文插图

车载激光雷达传感器以及面阵相机
激光雷达传感器可以识别道路边缘、起点和终点处的路锥 ， 并输出带有路锥位置但不含色彩信息的点云图 ， 相互靠近的点以图簇的形式来表示一个路锥 。 同时 ， 两台相机确定颜色 ， 并将其分配给点云中的路锥 。 安装在车辆PC中的图像采集卡使用Blob分析将路锥周围用边界框(Bounding Box)进行分隔 ， 并在HSV颜色空间中对它的颜色信息进行分类 。 然后再使用深度学习算法来验证分类结果 。

无人科技|使用Basler相机和图像采集卡实现自动驾驶技术
本文插图

具有不同视角的传感器阵列
传感器阵列与深度学习
GreenTeam 根据以前标记过的训练图像 ， 对底层的Yolo-v3（tiny）网络进行了调整 ， 使该系统深度神经网络(CNN)可以区分小型的黄色、蓝色、橙色路锥以及大型的橙色路锥 ， 从而验证分类结果 。
两台相机采集的图像与来自激光雷达传感器的图像相结合 ， 组成150/160度的光圈角度 。 连接到图像采集卡的触发板负责控制并同步两台相机的触发 。 机器人操作系统(ROS)中的时间戳可确保与激光雷达传感器保持同步 。
ROS包含可执行单个功能所需的全部软件组件（可分隔） ， 神经网络也在ROS中运行 ， 用于处理来自图像采集卡的信息并由CNN执行验证 。

无人科技|使用Basler相机和图像采集卡实现自动驾驶技术
本文插图

适用于自动驾驶技术的图像处理系统的软件架构
使用VisualApplets进行图像预处理
赛车软件的核心组件是VisualApplets图形化开发环境 ， 它可用于在用户界面上轻松快速地对FPGA处理器进行图形化编程 。 图像处理过程包括图像预处理 ， 即通过调节白平衡、借助去拜耳化进行色彩转换、从RGB转换到HSV色彩空间等步骤来强化成像效果 。 接下来的Blob分析会将颜色相似的像素合并为一个边界框 。 预处理以及图像处理功能被编程在图像采集卡中的小程序上（小程序是一种用于在FPGA上执行的编码应用程序设计） 。 GreenTeam只需进行一天的训练就可以完成小程序的调整工作 。
Basler可提供相机、图像采集卡、VisualApplets和咨询服务 ， 这也是GreenTeam决定与Basler合作的主要原因 。 GreenTeam 2018/2019赛季的项目经理Christian Witte强调说：“相机与系统完美兼容 ， 可在不丢失图像数据的情况下提供可靠的图像采集功能 ， 还有集成的预处理步骤和实时处理图像数据 ， 以便快速可靠地识别路锥——所有这些优点都有利于实现这个高质量的图像处理解决方案 。 除此之外 ， 还有深度学习技术和VisualApplets ， 为我们提供的专业知识对我们有很大帮助 。 ”
总体而言 ， 项目团队不用投入太多精力即可配置图像处理系统 ， 该系统也适用于不同的光照和天气条件 ， 无需使用特殊的额外光源 。 因此 ， 即使在瓢泼大雨或酷热天气中 ， 车辆也能始终保持正常行驶 。 如果系统真的宕机 ， 依然有解决方法：可通过遥控的紧急停止功能来强制车辆立即刹车 。
相关硬件
相机： Basler acA1300-75gc
图像采集卡：microEnable IV VQ4‐GPoE
配件：Opto-Trigger 5（信号处理）
microEnable IV VQ4-GE
这是一款PCIe图像处理设备 ， 可让四台GigE Vision相机实现全带宽连接 。
· 在多设备模式下也能保证较低的CPU负载
· 易于使用的配置软件
· 提供专业的机器视觉SDK支持
· DMA900 / 最高可达900 MB/s PCIe数据带宽 (PCIe x4)
· 广泛支持第三方软件接口
· 易于编程的视觉处理器 ， 可实现个性化的实时功能
【无人科技|使用Basler相机和图像采集卡实现自动驾驶技术】· 线材长度可达100 m


    推荐阅读


    上一篇：新发地|新发地聚集性疫情确诊患者全部治愈

    下一篇：中年|【关注】全国文明城市测评体系之主次干道考察标准知多少？