大模型上车：端云协同、以大训小 | 立异场景

本文摘自《云栖战略参阅》，这本刊物由阿里云与钛媒体联合策划。目的是为了把各个职业先行者的技能探究、事务实践呈现出来，与考虑相同问题的“数字先行者”一同讨论、磕碰，期望这些内容能让你有所启示。

长安轿车将于 2024 年三季度上市发布首款搭载长安大模型的长安启源 E07，而这一切的来源能够追溯到三年前——2021 年 8 月，在长安轿车科技生态战略大会上，长安轿车董事长朱华荣提出了“新轿车新生态”战略，新轿车开端写入长安轿车的未来地图。

作为长安轿车推动智能化战略 - 斗极天枢方案的战略承载体，重庆长安科技有限责任公司(以下简称“长安科 技”)着力于构建全新科技主体，以成为全球一流的智能电动数字处理方案商为愿景，经过以新技能使能新轿车，以新轿车昌盛新生态，助力长安轿车成为智能电动轿车产业链链长和原创技能策源地，向智能低碳出行科 技公司转型。

环绕长安轿车“立异创业 6.0”方案，树立新轿车、新生态，打造一流产品体会、一流中心技能、一流安排团队。自 2021 年树立的长安科技 AI Lab 聚集研讨“下一跳”的 AI 要害中心技能，对内沉积 AI 要害中心技能和根底才能。AI Lab 经过三年建造，逐步扩展朋友圈，树立软件类新技能研讨系统，继续产出新技能。改动协作形式，从头定位协作关系，构建长安软件全球朋友圈，完成协作的国际化。

根据 AI Lab，长安轿车与国内多所顶尖高校相继展开了人工智能协作项目，并在大模型成为技能新趋势后，与阿里云在大模型范畴展开了深度协作。

新轿车战略与大模型初探

树立于 2021 年的长安科技 AI Lab，承载着长安轿车新轿车战略转型的 AI 科研方针，前期要点研讨支撑中心算法的根本才能，构建中心认知、感知等根底才能团队。一同挑选最老练的范畴进行产品孵化。与业界共建生态圈。

AI 轿车空调便是在此布景下长安科技 AI Lab 与国内高校展开的一个协作项目。在车内运用空调往往不需求考虑太多要素，但假如要在这一场景中为空调参加感知才能和认知才能，让车载空调变成一台智能空调，就需求考虑许多要素。

智能空调是职业界初次提出的空调开关、温度设置、风量设置、吹风形式设置、表里循环形式设置的自动化，能满意 50% 以上用户的需求，进一步解放用户的双手。一同技能输出至场景大脑模型，对原有算法进行改进，方针有显着提高。根据安卓端的 PyTorch 运用布置，完成了 CD569 车机布置以及引荐并操控空调进行合理调整。

这是大模型在国内鼓起之前，长安科技 AI Lab 在人工智能范畴进行的测验和探究。彼时，长安科技 AI Lab 现已在用人工智能技能做日志剖析、常识提取等研讨，并逐步建立起了交互认知、决议计划认知、数据保证和数据安全四大研讨方向。

跟着技能的进一步开展，现在长安轿车的 AI 运用探究正在从语音大模型向多模态智能体(Agent)开展中，为了习气更多轿车行进的实在场景，长安科技 AI Lab 实验室正根据智能空调晋级开发等同于人类智力的根据大模型多感知 + 使命履行的高度智能交互多模态研讨，完成自生长自闭环的座舱环境自习气智能空调。

但一个要害问题仍有待处理——终究应该为团队拟定一条怎样的技能道路?长安科技 AI Lab 副主任谢乐成回忆说，“咱们其时根据 BERT 做认知方面的模型推理还很困难，用到自动驾驭上也有不小的误差，在其他技能方向上也做了不少测验做打破，直到 ChatGPT 的呈现，为咱们指明晰技能道路。”

ChatGPT 正式发布时，背面根据的是 GPT-3.5 大模型，GPT-3.5 是 OpenAI 练习出的预练习大言语模型，参数量上千亿，是一个经过验证并卓有成效的人工智能技能道路，正是看到这一技能的价值地点，谢乐成和他的团队快速聚集，开端根据语音大模型构建笔直范畴大模型，并完成座舱智能操控、智能交互等。

经过归纳评价后，长安科技 AI Lab 更倾向于根据市面上老练的根底通用大模型研制自己的轿车垂域大模型。一同，由于要习气云端、车端不同场景下对不同模型巨细的需求以及可晋级性考虑，长安科技 AI Lab 更多考虑的是开源大模型。前期是在 Meta 开源 LLaMA 后，根据 LLaMA 进行了大模型技能探究，跟着国内一些干流大模型连续开源，开端根据国内开源大模型做技能测验。阿里云是国内开源大模型之一，于 2023 年 4 月对外发布了通义千问大模型，同年 8 月在魔搭社区上线了 Qwen-7B 和 Qwen-7B-Chat 两个开源大模型，9 月 Qwen-14B 及其对话模型 Qwen-14B-Chat 也正式开源。其时，Qwen-14B 在多个威望评测中逾越平等规划模型，部分方针乃至挨近 Llama2-70B。

根据开源模型研制轿车垂域大模型和功用智能体，从体会作用、开源生态、可二次开发、支撑全系列以及东西链敞开程度几个维度归纳评价后，其间阿里开源生态处于国际头部方位，长安科技 AI Lab 与通义系列大模型的缘分也由此开端。

大模型实践的长安之路

长安轿车的大模型技能战略，主要是构建长安包融性全球座舱交互 ( 星海 ) 大模型架构系统，以交互 ( 星海 ) 大模型为根底完成与车辆、环境、人强交互的车辆环境交互，一同引进生态协作伙伴的信源、智能体等。内部利用车端自有多输入源的车辆环境交互大模型完成 EDC 的强运用类的语音、导航、多媒体等场景；外部构建生态环境交互大模型为生态集成调度集成协作伙伴的多智能体和信源集成。

在工程化布置上来说，大模型端云协同的系统，刚好契合轿车智能化开展途径下的技能需求。

“行车过程中总会遇到网络情况欠好的时分，当网络情况欠好时，就简单呈现延时、乃至中止，这会影响云侧大模型的全体运用体会，所以咱们很早就在研讨端侧 AI 算法，经过端侧 AI 算法去完成轿车的智能操控。”谢乐成表明。

根据这样的思路，长安轿车构建起了根据车机侧 AI 算力，探究将 1.8B 大模型、拒识模型、分发模型、车控模型、TTS 模型等在端侧进行布置，将通用基座模型、事务智能体、外部生态插件等在云侧进行布置，打造端云一体化高效协同系统。以处理据识、分发、快速操控、隐私安全等才能。

针对这一架构下的大模型运用，作为阿里云一直以来的中心客户，阿里云也派出了大模型团队和架构师团队与长安轿车进行了多轮深化讨论，为长安轿车供给了不少建议和支撑。

针对智能座舱这一典型运用场景，两边团队共同以为端云协同是一个必然趋势。虽然现在端侧部分算力还无法承载超大尺度的大模型，智能座舱中的中心场景运用算法练习和推理依然需求依靠云端算力，但无论是根据对安全考虑，仍是对实时性的考虑，端侧大模型会是比如智能语音交互和智能操控场景下的一个重要才能弥补， 大模型向车端进行布置也是未来的方向。

阿里云在大模型系统上既有 Qwen-plus、Qwen- Max 这样的云上大模型，也有 Qwen-7B、Qwen- 1.8B 等适用于端侧的大模型，云侧大模型用于通用才能的支撑，端侧大模型能够在端侧本地运转，无需网络连接，具有更快的呼应速度。

也正是根据这一考虑，在 Qwen1.5 系列开源模型发布后，长安科技 AI Lab 测验将其间参数规划最小的 Qwen1.5-0.5B-Chat 大模型作为端侧大模型在长安轿车进步行布置，探究端侧大模型为智能轿车带来的或许性。

而在模型战略上，长安轿车则挑选以大训小，巨细结合。Gartner 技能老练度曲线指出，一项技能在刚呈现时，往往会被寄予过高的期望。谢乐成和他的团队触摸大模型后，期望它能直接运用到新轿车座舱的智能操控系统中。

但大模型依然存在模型生成的内容与现实或用户输入不共同的错觉问题。谢乐成形象深化的是前期一次夜间测验环境，由于不确定测验车辆上的大模型是否有大灯调理功用，他测验经过语音指令让大模型将轿车大灯调高一些，这时，大模型直接操控车机封闭了轿车的近光灯。

对轿车的智能操控系统而言，需求精准了解人的目的并精准供给内容或履行操作，错觉问题虽然是小概率事件，但在操作中依然难以承受。长安科技 AI Lab 也根据当下大模型才能对其算法战略进行了调整，将云侧大模型作为智能操控系统的“兜底”技能。

例如，在驾驭场景，当驾驭员对车载空调宣布指令“将空调开大点”时，由于传统智能语音系统无法了解“开大”该怎么界说，在将大模型接入后，就能够先经过大模型判别用户宣布的这个指令是否有歧义，假如有歧义，就能够与驾驭员进行再次承认——“是否需求 将空调的风量开大一些”或“是否需求将空调温度调低一些”，得到更清晰的指令后，再经过端侧模型进行操控。

而详细到大模型的选型，在 Qwen1.5 发布四个月后，阿里云将开源大模型的版别晋级到 Qwen2，长安科技便开端将 Qwen2-72B-Instruct 用到自己的大模型系统中。比较 Qwen1.5，Qwen2 完成了全体功用的代际腾跃，在数学，以及代码、逻辑推理、多言语才能上都取得了显着的提高。在各大基准测验中，Qwen2- 72B 一举斩获了十几项国际冠军，其功用大幅逾越了闻名的开源模型 Llama3-70B、Mixtral-8x22B。也正是由于在答复问题的精确度上的显着优势，通义大模型经过了谢乐成团队大范围的选型检测。除了大模型的晋级，长安科技也联合阿里云大模型团队针对错觉问题进行了屡次联合技能调试，针对轿车座舱运用场景对大模型链路进行了一系列优化，进一步提高了大模型的了解 精确性。

与此一同，长安轿车经过运用大模型经过常识蒸馏后的小尺度“大模型”，将布置在车端，这种战略也能大大提高车端运转大模型的迭代功率和呼应速度。

由此，长安科技 AI Lab 一方面处理了大模型运用中的错觉问题，提高了交互和操控的精确性，一同也根据端侧大模型降低了呼应时延，提高了智能轿车的实践用户体会。

共创轿车产业的智能未来

2024 年 4 月 23 日，阿里云 AI 智领者峰会西安站上，谢乐成正式对外展现了长安科技 AI Lab 在轿车大模型范畴的一系列重磅效果。

详细而言，长安科技 AI Lab 现在现已将大模型运用到了轿车的“智能交互”和“智能操控”两大场景，研制出了六大中心智能体——轿车专业问答智能体、通用 + 金融专业增强智能体、多模态可见即可说智能体、轿车场景语音编列智能体、杂乱目的了解智能体、多模态智能引荐智能体。

所谓智能体(Agent)，是指具有感知、推理、决议计划、履行等多种才能的智能实体，它以大模型为中心驱动力，并经过回忆、规划和东西等组件别离完成信息存储、决议计划拟定与反思总结、使命履行等功用，然后完成特定方针。

以智能座舱场景中运用频率最高的轿车专业问答智能体为例，长安科技团队前期在根据阿里云 Qwen 开源大模型研制轿车专业问答智能体时，在问答呼应实时性和灵敏问题呼应体现上不及预期，在与阿里云团队深化交流后，长安科技一方面引进了在查找呼应实时 性更强的夸克查找引擎，另一方面联合阿里云团队重构了长安科技轿车大模型的安全战略，经过阿里云内容安全产品供给图片、视频、语音、文字等多媒体内容危险检测的才能，辨认并屏蔽危险和灵敏话题，提高内容质量并进一步改进智能体答复技巧性，改进渠道次序和用户体会，终究才有了长安科技现在的轿车专业问答智能体。

而另一个值得一提的是轿车场景语音编列智能体。谢乐成以为，轿车场景语音编列智能体或将成为改动用户用车习气，成为智能轿车的杀手级运用。

全场景语音可编列是长安科技 AI Lab 早在 2022 年就提出的概念，其时还没有大模型，业界更多是经过“迁延拽”的方法来考虑和构建这一功用，大模型呈现后，根据大模型的了解和生成才能，结合智能体，能轻松完成各类才能模块调度和终究场景生成。在长安轿车发布会上的介绍显现，经过全场景可编列语音功用，根据长安轿车的原子化服务，协助用户根据本身需求快速定制多个服务组合的运用，车内车外均可用语音操控音乐、空调、车窗、后备厢等相关功用开闭乃至调用各类生态运用，让用户成为车端场景界说的“设计师”。

一同，长安科技内部一边根据大模型进行技能研制，一边也在不断反思:大模型终究还能带来什么?

长安科技开始是期望将尽或许多的操控才能接入到大模型中，现在，其对大模型的才能有了新的了解——大模型的了解才能和交互才能是它最根底的才能，而大模型为轿车产业带来的革新将不止于智能座舱，生态接入将会是接下来轿车大模型又一要害战场。

在互联网和移动互联网年代，重塑了人类生活方法的运用，怎么借大模型之力把这些运用接入到智能轿车中，提高智能轿车的运用体会，是长安科技现在最重视的问题。在生态接入方面，长安科技正在与阿里云等团队进行进一步交流，一同讨论怎么借大模型之力将运用生态接入到的轿车中。

以上长安科技根据大模型研制的这些智能体，以及跟着大模型同时接入到轿车上的运用生态，均有望呈现在长安轿车本年第三季度行将发布的长安启源 E07 上。

谢乐成深信，“大模型上车才是查验轿车厂商服务化是否在裸泳的规范。”而长安启源 E07 的发布，也将成为轿车产业进入大模型年代的一个全新起点。