云轴科技许佳珺：AI 在金融基础设施架构中的应用实践

在金融行业，人工智能（AI）的应用正经历一场深刻的变革。9月在华为全联接大会2024上，云轴科技研发总监许佳珺发表了题为《融合与变革：AI在金融基础设施架构中的应用实践》的演讲，深入探讨了AI如何加速金融行业的重构，并详细介绍了AI在金融基础设施架构中的应用实践。

面对每天成百上千篇新研报，金融分析师如何快速把握市场动态？AI技术通过自动抓取和分析研报，提供快速摘要和观点提取，显著提高了信息处理的效率。这种技术的应用，不仅缩短了金融分析师获取信息的反馈周期，也提高了决策的时效性。比如金融分析师通过 AIOS平台智塔进行摘要和观点提取，可实现快速响应。

此外，企业自身正在通过AI提升客户服务效率， 技术支持的智能客服系统，通过AI技术知识训练，实现了面向客户支持和新员工学习的智能服务。这种服务模式相比传统的人工服务，响应速度提升了约30倍，极大提升了客户服务的效率和质量。

许佳珺表示，AI技术的发展呈现出三个明显的趋势，这些趋势正在重塑金融行业的AI应用格局。

开源大模型的涌现：随着等平台上模型数量的激增，企业不再需要从头训练大模型。这种趋势降低了企业进入AI领域的门槛，同时也推动了AI技术的快速创新和应用。金融用户可以利用AIOS平台快速体验和测试新模型，实现模型的微调和应用构建。

多模型配合的AI应用：现代AI应用往往涉及多个大、小模型的配合。例如，RAG系统的搭建往往需要结合大语言模型和向量模型，实现更精准的信息检索和内容生成。金融用户通过AIOS平台的 MaaS 模型层整合、管理模型生命周期及多种模型资源，还可精细化控制解决模型幻觉，更充分的使用平台算力。

高端算力的紧缺与国产算力的提升：面对高端算力的紧缺，国产算力的提升显得尤为重要。国产算力产品在模型服务适配、显存带宽、数据格式支持等方面还有待提升，以满足日益增长的AI应用需求。面对算力成本和供应问题，AIOS平台通过优化GPU利用率和分布式推理，帮助金融客户降低成本并提高效率。

云轴科技 AIOS平台智塔，期望通过同时解耦算力竖井和模型竖井，帮助金融客户从容应对三大趋势，优化AI应用性能和成本，加速金融AI市场应用进程。

算力层： AIOS平台智塔的算力精分调度平台，支持、AMD、Intel、海光、华为昇腾、寒武纪、燧原、天数智芯、太初元碁、壁仞、摩尔线程、沐曦等中国市场上的主流品牌和几十种AI芯片型号，实现异构算力协同不同AI 模型之间的优化路由，降低AI算力成本。

模型层： AIOS平台智塔的动态模型自适应平台，可以支持生成式AI（GenAI）、自然语言处理 (NLP)、计算机视觉、机器学习（ML）、深度学习（DL）以及多模态AI，并支持Llama、Gemma、通义千问Qwen、智谱、百川、零一万物Yi、智源BGE、、XTTS等数百种开源文字类、图形类、声音类大模型，实现模型压缩与性能优化，模型选型与生命周期管理，训推高效部署与自适应调度，达到跨软硬件的全面性能优化。

运营层： AIOS平台智塔的全域感知自服务平台，可以进行多租户隔离和动态资源配额管理，实现跨智算中心、跨集群的全域感知统一调度，提供按量计费的动态训推服务，具备可视化统一门户，弹性跨域容错，实现精细化的自服务运营体系。

随着AI技术的不断进步和应用的深入，金融行业将迎来更加智能化、高效化的未来。云轴科技的 AIOS平台智塔正加速金融服务的创新和变革。

此外，在此次大会上，凭借在鲲鹏原生技术开发领域的卓越表现而荣获“鲲鹏原生开发优秀实践奖”。这一荣誉不仅是华为对在鲲鹏原生领域所取得成果的高度认可，也充分展示了在该领域的雄厚实力与创新能力。