『埃尔法哥哥』谈数据驱动的自动驾驶( 二 )


目前无人驾驶的开发模型也存在着向这个方向转变 。 如果说是做简单的demo , 演示项目 , 需要的人不多 , 主要是人员的能力要强 , 但如果落地处理工程问题 , 具体的任何算法都会出现瓶颈 , 这时候就需要流程和人去不断的解决问题 。 也许有人会说支付宝不就是个支付软件吗 , 为什么需要这么多研发、维护人员呢 , 实际上这些人都是在处理各种复杂的场景 , 制作各种工具 , 应对环境的变化推出新的解决办法 。
数据驱动实际上就是刚才说的第二种方式 , 但数据驱动的投入比较大 , 而且短期也看不到实际的产出 。 下面我们看下数据驱动需要的成本 。
1.数据中心存储
鉴于自动驾驶的数据量非常大 , 我们优先采用分布式存储 , 目前比较适合的是HDFS文件系统 。 关于存储这里不展开了 , 实际的应用可能还会用到对象存储和数据库 。
存储只是一方面 , 通过上面的论述 , 我们知道数据的治理才是最重要的 , 需要保存数据采集的时间、地点、软件版本、传感器配置、以及天气情况等 , 建立数据的meta信息 。 通过数据的治理才能发掘数据的价值 , 否则你只能抱着一堆数据 , 空惆怅着怎么使用 。
2.数据处理(流批式计算 , 标注 , 机器学习平台)
数据的处理实际上包括几个方面:数据标注、机器学习模型训练、在线的流式计算和离线计算等 。 数据处理之后的数据产生大量价值 。
首先通过不断的收集数据 , 机器学习的模型会越来越完善 , 具体应用到无人车上就代表感知目标越来越准确、全面 。
离线计算还可以生成高精度地图 , 达到车道级的精度 。
不断完善的算法 , 不仅仅包括底层传感器的算法优化 , 也包括定位、规划、融合算法的提升 , 基于原来的数据进行算法验证 , 然后再应用到车上重新收集数据 , 实现闭环 。
3.数据可视化
数据可视化主要是为了方便调试和解决问题 , 我们可以把目前流行的各种viewer看作是比较好的可视化界面 , 对研发效能的提升很明显 。 下面是Uber开源的数据可视化界面 。
『埃尔法哥哥』谈数据驱动的自动驾驶
文章图片
目前比较欠缺的是一些辅助的可视化开源工具 , 例如高精度地图的可视化工具 , 规划线路的可视化验证(检查道路是否连通)等 。
针对数据流程的一些可视化工具 , 数据流水线执行到了那里 , 从数据库查找对应的数据之后能够可视化展示出来等 。
『埃尔法哥哥』谈数据驱动的自动驾驶
文章图片
【『埃尔法哥哥』谈数据驱动的自动驾驶】4.数据效能(仿真)
每道流水线生产环节都有品控 , 如何快速评价和验证算法是自动驾驶的关键 。 因此我认为仿真在自动驾驶中会扮演越来越重要的角色 , 通过在虚拟环境中快速构建测试用例 , 拦截掉90%以上的问题 , 然后再进行实际的训练场地测试和开放路测 , 最后保证整个数据闭环 。
未来
通过这2年的面试和一些了解 , 小的自动驾驶初创公司根本无力做数据驱动 , 车才是核心竞争力 , 一是没有车就没有项目 , 没有车就没有项目 , 二是你拿数据中心说自己多牛逼多厉害 , 投资人根本不买账 。
数据中心的建设投入也很大 , 如果全部自研平台 , 基本就是个无底洞 , 比较理想的方式是上云 , 上云的好处是深度学习训练、存储、计算等都由云提供服务 , 虽然目前的网络带宽可能看起来是瓶颈 , 但随着5G的网络建设 , 云技术可能又有飞跃 。 这里还牵扯到一个问题 , 就是各个公司都喜欢数据私有 , 觉得数据在自己的硬盘上才放心 , 实际上机房和云有什么区别?
可以预见如果自动化驱动成为主流 , 并且验证可行 , 那么小的自动驾驶初创公司根本就玩不转 , 整个数据驱动类似于投入一条生产流水线去取代人工处理各种Case 。


推荐阅读