深度学习平台DeepSeek发布了全新的实验性模型版本——DeepSeek-V3.2-Exp,并在该版本中引入了DeepSeek Sparse Attention机制,旨在提升长文本处理的高效性,DeepSeek对API价格进行了大幅下调,使得开发者调用成本降低50%以上。
寒武纪科技迅速响应,同步完成了对DeepSeek-V3.2-Exp模型的适配,并在“寒武纪开发者”公众号上宣布开源大模型推理引擎vLLM-MLU的源代码,让开发者能够在寒武纪的软硬件平台上第一时间体验新模型的强大功能。
寒武纪强调,公司一直致力于大模型软件生态的建设,支持包括DeepSeek在内的所有主流开源大模型,通过对DeepSeek系列模型的深入优化,寒武纪在软硬件协同性能上取得了业界领先的水平,针对DeepSeek-V3.2-Exp新模型,寒武纪通过Triton算子开发实现了快速适配,并利用BangC融合算子实现了极致性能优化,进一步提升了计算效率。
华为昇腾也迅速完成了对新模型的适配部署,实现了DeepSeek-V3.2-Exp的0day支持,并开源了所有推理代码和算子实现,华为昇腾在DeepSeek-V3.2-Exp发布后立即完成了BF16模型的部署,并在CANN平台上进行了优化适配,针对稀疏DSA结构,华为昇腾还实现了长序列亲和的CP并行策略,确保了在128K长序列下的高效推理速度。
DeepSeek的持续迭代升级,以及各大科技公司的积极响应,共同推动了深度学习技术的快速发展,为开发者提供了更多高效、经济的解决方案。