杭州字节方舟科技有限公司取得深度神经网络压缩方法专利

aixo 2024-09-20 01:06:15
大模型 2024-09-20 01:06:15

金融界 2024 年 9 月 19 日消息,天眼查知识产权信息显示,杭州字节方舟科技有限公司取得一项名为“一种基于联合动态剪枝的深度神经网络压缩方法“,授权公告号 ,申请日期为 2024 年 7 月。

专利摘要显示,本发明公开了一种基于联合动态剪枝的深度神经网络压缩方法,涉及神经网络压缩技术领域,该方法的步骤包括:S1、初始网络训练;S2、特征选择和动态剪枝:S3、精细化剪枝和重训练;其技术要点为:采用动态化的梯度阈值设计,使得在初步考虑剪枝时能够有针对性的进行操作和处理,结合后续依据性能评估指标进行重训练的过程,对梯度阈值做出了二次调整,在所需的情况下减少剪枝次数,以保证模型的整体性能,剪枝后的模型经过重训练,能够适应新的权重分布和连接结构,提高了模型的适应性和泛化能力,模型能够根据执行调整策略,进一步提升了模型的实用性和可部署性。

本文源自:金融界