2024 年大模型应用落地元年，边缘 AI 成关键，云天励飞深入场景落地打造技术平台

2024年毫无疑问是大模型应用落地元年，面对灵活多变的任务和复杂的场景环境，用边缘AI打造低成本、高效能、强落地的大模型应用是关键。

7月8日，2024慕尼黑上海电子展在上海隆重开幕。在首日的“2024算力技术创新发展生态大会”上，云天励飞受邀发表主题演讲，全面系统地介绍了公司以边缘AI作为推动大模型产业规模化应用的切入点，围绕国产边缘AI芯片在架构和技术上进行的创新和探索。

技术平台如何打造？应用驱动是关键

科技创新日新月异，但技术发展与迭代若没有应用落地和使用场景的支撑，就像无本之木没有根基。云天励飞深入场景落地、沉淀技术平台，在公共安全、城市治理、智慧交通、人居生活等行业落地多个标杆案例，同时率先提出“1+1+N”自进化城市智能体的实践框架。

在此过程中，云天励飞坚持自主研发芯片，沉淀 “算法芯片化” 的核心能力。这里的“算法芯片化”并不是简单的“算法+芯片”，而是基于对场景的理解，对应用中关键计算负载——算法的量化分析，将芯片设计者的理念、思想与算法相融合的方法论和芯片设计流程，它能够让AI芯片在实际应用中发挥更优的效果。

在算法层面，云天励飞构建了应用落地驱动的算法平台，开发了“云天天书”大模型。

在神经网络处理器和芯片层面，云天励飞通过自定义指令集、处理器架构以及工具链的协同设计，构建了算法驱动的神经网络处理器平台和面向边缘AI的芯片平台，完成了四代神经网络处理器架构的技术迭代，自主研发了三代边缘AI芯片，并陆续投入商用。

推动大模型规模化落地 边缘AI是关键

随着人工智能进入大模型时代，多模态模型和具身多模态模型成为人工智能重要的技术方向。同时，在大模型产业规模化应用落地的驱动下，算力需求也从云侧向边缘侧和终端扩展。

在大模型领域，“云天天书”大模型采用通用大模型、行业大模型、场景大模型的三层架构设计，包含了语言大模型、视觉大模型、多模态大模型等不同系列，能提供十亿、百亿、千亿级参数量的多尺寸大模型，实现对多个行业赋能，并支持各类场景的快速部署。

通过首创的SPACE高性能推理引擎，可以在保证精度的同时，实现更高并发、更快推理、更低成本的行业应用方案。云天励发构建了完备的大模型安全体系，“云天天书”大模型也已正式通过中央网信办备案。

通过可微调的场景大模型的多种能力，云天励飞打造了具有专业领域知识的智能体，实现公共安全、智慧政务、城市治理、智慧交通、AI教育等多个行业的智能应用赋能。

为边缘AI筑牢算力底座 芯片创新是关键

云天励飞大模型的行业应用落地实践中，发现推理微调算力需求将超过通用训练算力的需求，“云边端”的混合协同部署将成为趋势，同时由于专用推理微调硬件的价格优势和能效优势，边缘的专用推理微调芯片将有广阔市场空间。云天励飞以终为始，将边缘推理微调作为芯片创新的切入点。

从N个场景、N套算法，到N个场景、1套算法，从“教了才会”到无师自通，从硬件、软件、人力的大量投入到0成本调用，支撑“云天天书”大模型在多个行业快速落地应用，推理微调芯片功不可没。云天励飞系列芯片，正是这样的存在。

系列芯片基于国产先进工艺，集成了自研神经网络处理器，不仅采用了高集成度的 SoC 主控级设计，还在国内首创采用 Die-to-Die 高速互联架构和 先进封装设计，实现了片内算力的灵活拓展。同时，还支持基于 Chip-to-Chip 组网互联进行系统扩展，可满足千亿级参数大模型的边缘微调部署需求。

通过架构创新，系列芯片实现了纯国产芯片在边缘AI场景的突围，赋能边缘全场景的智能应用，推动大模型场景的规模化落地。

目前，针对不同边缘应用场景，云天励飞正式推出支持多种算力性能和多种内存容量配置的系列芯片，赋能大模型规模化应用落地，促进中国人工智能高质量发展，云天励飞期待和各个行业的生态伙伴共同努力。