文丨李安琪
编辑丨李勤
(资料图片仅供参考)
与自动驾驶相关文章,首次获得全球顶级计算机视觉会议CVPR的最佳论文。
6月22日,全球顶级计算机视觉会议CVPR 2023公布了最佳论文等奖项。一篇名为《Planning-oriented Autonomous Driving》(以路径规划为导向的自动驾驶)论文,成功从9155篇投稿、2359篇接收论文、12篇入选最佳论文候选名单中脱颖而出。
这也是近十年来,CVPR会议上第一篇以中国学术机构作为第一单位的最佳论文。该论文由上海人工智能实验室、武汉大学及商汤科技联合完成。
CVPR在学术界及产业界的影响力毋庸置疑,与ICCV、ECCV并列为计算机视觉领域三大顶级会议。全球最聪明的头脑汇聚于此,特斯拉也连续几年在CVPR上公布其自动驾驶技术最新进展。
今年的竞争相当激烈。据公开信息,今年12篇入选最佳论文候选名单机构,不仅有谷歌、Stability AI等人工智能领域顶尖企业,也有上海人工智能实验室、斯坦福大学、康奈尔大学、香港中文大学、香港科技大学、南洋理工大学等研究机构及高校。
而上海人工智能实验室、武汉大学及商汤科技联合获奖的关键在于,提出了一个感知决策一体化的自动驾驶通用大模型UniAD。
大会官方组委会认为,论文提出的端到端感知决策一体框架,融合了多任务联合学习的新范式,使得进行更有效的信息交换,协调感知预测决策,以进一步提升路径规划能力。
这证明了大模型与自动驾驶产业结合的潜力。今年初,ChatGPT的爆火,让机器学习与理解人类语言的能力有了本质飞跃。而大模型,也有望为自动驾驶产业落地指出更清晰的方向。
端到端的自动驾驶大模型UniAD
论文指出,随着深度学习发展,自动驾驶算法被组装成一系列任务,包括目标检测与跟踪、在线建图、轨迹预测、占据栅格预测等子任务。
基于这些子任务,行业有着多种自动驾驶系统框架设计:模块化设计,多任务框架,但两种方案都面临着累积错误或任务协调不足的困扰。
比如自动驾驶公司Waymo、Cruise采用的模块化设计方案,每个独立的模块负责单独的子任务。这种方案具备简化研发团队分工,便于问题回溯,易于调试迭代等优点。但由于将不同任务解耦,各个模块相对于最终的驾驶规划目标存在信息损失问题,且多个模块间优化目标不一致,误差会在模块间传递。
论文认为,多任务框架是更优雅的一种设计方案,代表性企业有美国特斯拉、中国小鹏汽车等。方案中不同任务使用同一个特征提取器,具备便于任务拓展、节省计算资源等优点。但不同任务之间仍存在预测不一致、表征冲突的问题。
a为模块化设计、b为多任务框架、c1/c2为两种端到端方案、c3为UniAD方案示意 图源论文
相比之下,端到端自动驾驶方案将感知、预测和规划所有节点视为一个整体,但现有的两种端到端方案也还面临挑战。
一种简单的方式直接以传感器信号作为输入、以轨迹/控制作为输出,能够在仿真中取得较好结果,但缺乏可解释性与实际应用安全性,尤其是在复杂的城市道路场景。
另一种方案是,对模型进行显式设计,将整个架构分为感知-预测-规划模块,使其具有部分中间结果表达。但这种方式面临检测结果在模块间不可微导致无法端到端优化,稠密BEV预测时长有限,过去-未来、物体-场景等多维度信息难以高效利用等困难。
因此,本篇论文提出了一个端到端方案Unified Autonomous Driving,即UniAD。上海人工智能实验室指出,UniAD能够成功解决不同任务融合难的问题,从而实现多任务和高性能的关键在于以下两点。
一是多组查询向量的全Transformer 模型:UniAD利用多组 query 实现了全栈 Transformer 的端到端模型,可以从具体 Transformer 的输入输出感受到信息融合。二是以最终“规划”为目标,全部模块通过输出特定的特征来帮助实现最终的目标“规划”。
自动驾驶端到端架构 (UniAD) 的流程 图源论文
从论文来看,UniAD 将感知、预测、规划等三大类主任务、六小类子任务(目标检测、目标跟踪、场景建图、轨迹预测、栅格预测和路径规划)整合到统一的端到端网络框架下。
具体来说,将一系列多摄像头图像输入特征提取器,并通过 BEVFormer 转换为统一的鸟瞰图(BEV)。这部分可以快速替换为其他BEV模型,具有较好可拓展性。
在感知环节中,UniAD的目标检测与跟踪模块可以实现对动态元素的特征提取、帧间物体跟踪;在线建图模块实现了对静态物体的特征提取、实例级地图预测;
在预测模块,UniAD可以实现动静态元素交互与长时序轨迹预测;占据栅格预测模块实现了短时序全场景BEV、实例级预测;
在规划模块,UniAD实现基于自车query的轨迹预测和基于占据栅格的碰撞优化。
论文表示,UniAD 的培训分两个阶段:首先联合训练感知部分,即目标跟踪和建图模块,这将持续几个阶段(在实验中为 6个阶段),然后使用所有感知、预测和规划模块端到端地训练模型20个阶段。
从结果来看,论文表示,在 nuScenes 真实场景数据集下,所有任务均达到领域最佳性能(State-of-the-art),尤其是预测和规划效果远超之前最好方案。其中,多目标跟踪准确率超越SOTA 20%,车道线预测准确率提升30%,预测运动位移和规划的误差则分别降低了38%和28%。
在晴天直行场景中,UniAD 可以感知左前方等待的黑色车辆,预测其未来轨迹(即将左转驶入自车的车道),并立即减速以进行避让,待黑车驶离后再恢复正常速度直行 图源上海人工智能实验室
在雨天转弯场景中,即便面对视野干扰较大且场景复杂的十字路口,UniAD 能通过分割模块生成十字路口的整体道路结构(如右侧 BEV图中的绿色分割结果所示),并完成大幅度的左转 图源上海人工智能实验室
从论文到产业还要多久?
当然,从前瞻学术论文到产业跟进、技术大规模惠普,所需要的时间并不短。
以当下被行业火热讨论的BEV为例。2021年特斯拉首次基于Transformer将摄像头2D图像拼接转化成3D图景,生成鸟瞰图 “Bird"s Eye View”,简称“BEV”。这是大模型在自动驾驶感知环节的应用。
两年时间过去,当下国内企业虽已纷纷跟进,但仅有少数几家能拿出先期成果。
而UniAD大模型是更为庞大的、涉及感知、预测、规划的复杂系统工程,其中的技术优化与工程化落地只会比BEV更艰难。
论文本身也指出,协调这样一个具有多个任务的综合系统并非易事,需要大量的计算能力,尤其是经过时间历史训练的计算能力。如何为轻量级部署设计和管理系统值得未来探索。
论文作者之一、上海人工智能实验室青年科学家李弘扬博士表示,UniAD提供了全套关键自动驾驶任务配置,其充分的可解释性、安全性、与多模块的可持续迭代性,是目前为止最具希望实际部署的端到端模型。这套基于视觉的全栈自动驾驶框架,据初步测算,每年节省激光雷达与标注成本可达千万级。
部分玩家已经在行动。据36氪了解,小鹏和理想汽车都在筹备研发全栈端到端自动驾驶方案。“目前效果还不太好,但潜力很大。”有内部人士透露。
总而言之,新的技术的种子已经播下,行业新一轮竞赛也可能已经开始。接下来,就看谁能给出更肥沃的土壤与更恒久的耐心。
文章参考:
1.《Planning-oriented Autonomous Driving》
2.《AIR学术|上海人工智能实验室李弘扬、陈立:端到端自动驾驶算法设计思考》
3.《上海AI实验室联合团队获CVPR最佳论文奖 | CVPR 2023》
标签:
上一篇 : 工信部:推动不少于3000家企业建设5G工厂
下一篇 : 最后一页
近日,2023烟台金沙滩星空马拉松在山东烟台鸣枪起跑,来自全国各地的七
06-25 09:06:20
央广网长春6月25日消息(见习记者舒震)近日,在长春市动植物公园饲养
06-25 08:14:24
今年,上海正式启动单位附属绿地开放共享三年行动计划。未来,一些原本
06-25 06:56:51
1、日本城西国际大学只是日本的一所普通私立大学。2、【中文名】:城西
06-25 04:44:53
问题:请问各位,中华烟软盒多少钱一条?现在,中国香烟是许多人喜欢抽
06-25 01:59:18
中国青年报客户端讯(中青在线记者徐丹阳)6月22日,中央广播电视总台2
06-24 22:53:51
俄新社6月24日援引一份俄罗斯联邦通信、信息技术和大众传媒监督局的声
06-24 21:53:21
近日,记者就“水稻上山”等问题采访了全国农业技术推广服务中心、农业
06-24 20:19:36
近日,陇西县公安局通安派出所收到群众送来的一面锦旗,对民警用心用情
06-24 19:25:53
1、《宋淳化祖帖》是东晋王献之创作的书法作品。2、宋淳化祖帖:又名《
06-24 18:03:53
留余文化征文大赛大奖揭晓近日,由县政协、县留余文化促进会与《今古传
06-24 17:03:05
江声浩荡,且听中华文明的端午交响
06-24 16:05:10
今年的端午佳节连着夏至节气,为炎炎夏日拉开帷幕。为了更好关爱新就业
06-24 15:19:04
据美国有线电视新闻网(CNN)报道,当地时间23日,美国国家安全委员会发
06-24 14:08:32
郑四清(右二)在指导合作社鱼塘升级改造。李维察看油茶树挂果情况。红
06-24 13:21:09
人民网北京6月24日电(欧阳易佳)6月23日18时,水利部和中国气象局联合发
06-24 12:05:42
观点网讯:6月23日晚,建业地产股份有限公司发布公告称,市场情况持续
06-24 11:12:42
来为大家解答以上问题。全合成和半合成机油区别,美孚速霸1000是半合成
06-24 10:48:31
彩票圈子里无论采用单式投注也好,复式投注也罢,想要擒获所谓的一等奖
06-24 09:55:49
【电影《消失的她》总票房破4亿】猫眼专业版微博6月24日消息,据猫眼专
06-24 08:55:00
00:36大众网记者尹荣耀济宁报道世界互联网大会数字文明尼山对话将于6月
06-24 08:10:12
本报北京6月21日电(记者王政)中国汽车工业协会日前发布最新数据显示
06-24 06:57:03
1、1天王洪秀全2幼天王洪天贵福3光王洪天光4明王洪天明5东王杨秀清6幼
06-24 05:03:19
1、苏宁全国客服电话都是4008-365-365不区分区域松下冰箱售后服务吉林
06-24 02:04:47
2023年银行最新套路,很多人都中招了,不懂的赶紧来看看!,存款,储户,
06-23 23:13:14
早上,我在姐姐的怀里醒来,虽然姐姐看上去还没有醒来,但谁知道姐姐到
06-23 21:55:36
1、可能滑档。2、电饭煲几十个品牌,是不是已经挑花了眼?如果你已经被
06-23 20:43:00
飞凡F7定位与全新中大型纯电轿车,比较大的亮点是搭载RISINGPILOT高阶
06-23 19:55:21
当地时间23日,为期10天的“空中卫士-2023”北约空军军演结束。德国空
06-23 19:04:29
端午传统习俗活动相继开展。 刘康 摄市民体验包粽子弘扬传承屈原
06-23 17:52:08
众所周知,蕾哈娜是湖人老大詹姆斯的头号女粉丝,从热火时代开始就成为
06-23 16:16:23
近日,相关渠道透露了新一代红旗HS7实车图在网络上曝光。作为换代车
06-23 15:25:06
2023年上海市普通高等学校招生统一文化考试成绩即将公布。请考生注意以
06-23 14:40:28
据统计,截至2023年6月21日,A股市场质押股数占总股本的比例约为5 19%
06-23 13:45:39
自首次亮相以来,HyperGT一直吸引着汽车市场和消费者的高度关注并且在
06-23 12:07:32
现场观众学习制作五彩绳。人民网记者宋亦然摄武林道武术学校志愿者表演
06-23 11:14:42
小赢科技公司美股涨8 02%
06-23 10:34:54
日前,据仰望汽车公众号“问答板块”消息,仰望U8豪华版预计于8月正式
06-23 10:06:15
6月23日,生意社人棉纱基准价为17450 00元 吨,与本月初(17566 67元 吨
06-23 08:47:32
尔庄园ios和安卓互通吗,摩尔庄园手游iOS和安卓能不能互通很多人还不知
06-23 07:51:08
为贯彻落实2023年南昌市医保基金监管集中宣传月活动实施方案,加强全院
06-23 06:51:36
以下是本站小编为大家整理的喀什职业技术学院院系专业设置情况,供大家
06-23 05:25:26
1、突发性耳聋有一定的自愈性,但自愈性比较低,不到1%。2、突发性耳聋
06-23 02:43:56
1、用数据线将MP4与电脑的USB接口连接起来。2、2、打开电脑页面上的浏
06-23 01:01:40
近期国产剧真的是竞争激烈,但每部剧,几乎都是开局好,然后就被吐槽演
06-22 22:10:55
1、200WOW介绍给别人好多次了=。2、=99也行。相信通过魔兽世界私服仿官
06-22 20:59:20
1、电机的损耗,不仅仅包括电磁方面的损耗,机械损耗、风磨耗等杂散损
06-22 20:15:56
1、狮子狗,英文名,也被称为“Poodle”和“poodle”,黑色的狮子狗只
06-22 18:45:28
角黍包金,菖蒲泛玉这是中国首个入选世界非物质文化遗产的节日端阳我们
06-22 17:49:47
记者注意到,魏晓军已任国家禁毒办常务副主任、公安部禁毒局局长。6月2
06-22 16:34:02
近日,2023烟台金沙滩星空马拉松在山东烟台鸣枪起跑,来自全国各地的七
2023-06-25
央广网长春6月25日消息(见习记者舒震)近日,在长春市动植物公园饲养
2023-06-25
今年,上海正式启动单位附属绿地开放共享三年行动计划。未来,一些原本
2023-06-25
1、日本城西国际大学只是日本的一所普通私立大学。2、【中文名】:城西
2023-06-25
问题:请问各位,中华烟软盒多少钱一条?现在,中国香烟是许多人喜欢抽
2023-06-25
7月7日,中国消费者协会、中国保健协会化妆品发展工作委员会联合发布暑期消费指示,保障儿童用妆安全。...
概念特点1、 定义:纤维是天然或人工合成的细丝状物质,纺织纤维则是指用来纺织布的纤维。2、 纺织纤...
中新网西宁11月21日电 题:青海水润高原:从“大动脉”到“毛细血管”的精准管理 作者 谈林明...
中新网西宁11月21日电 (记者 张添福)青海省卫生健康委员会21日消息,该省第3例本土确诊病例经过20...
新华社华盛顿11月20日电 通讯:“留在中国的决定让我拥有一段值得讲述的人生”——留华美国学生韩...
上市公司频获机构调研 接待机构来访量为20.89万家
Copyright © 2015-2022 华东纤维网版权所有 备案号:京ICP备2022016840号-41 联系邮箱:2 913 236 @qq.com