幻方量化探索 AGI 新组织 DeepSeek 启用硬盘缓存技术,降低成本

aixo 2024-08-03 08:35:04
大模型 2024-08-03 08:35:04

经济观察网讯 据幻方量化微信公众号8月2日消息,其探索AGI(通用人工智能)的新组织“深度求索()”启用上下文硬盘缓存技术,把预计未来会重复使用的内容,缓存在分布式的硬盘阵列中。在大模型API的使用场景中,如果输入存在重复,则重复的部分只需要从缓存读取,无需计算。缓存命中的部分,费用为0.1元每百万。(实习记者 张丽莹 编辑 李仕静)