您的位置首页 >IT >

DS V4.1深度优化致HBM与SSD需求骤降超75%,内存涨价逻辑受冲击

快科技9月10日消息,这一年来内存、SSD价格大涨了5-10倍,这跟AI需求有关,然而今天正式发布DeepSeekV4.1Flash不一样,它极大地减少了HBM内存及SSD的用量,只有之前1/4到1/8需求。

DeepSeekV4.1Flash虽然从名字上看比之前的V4.0只进化了0.1版,但本质上已经是不同的大模型了,V4Flash是2820亿参数量底座,激活130亿参数。这一切是怎么做到的呢,只能说V4.1Flash就是AI基建优化之神,尤其是KVCache缓存方面,主缓存改成FP4,再加跨层复用,每个Token的全局KV只剩890字节,约为V4Flash的1/4;长期放在SSD或内存里的缓存进一步降到约1/8。换句话说,V4.1相比V4只需要很少的HBM及SSD硬盘,降幅超过75%,如果这个技术能全面推广开来,那全球AI对内存及SSD的需求至少可以减少两三倍。

免责声明:本文由用户上传,与本网站立场无关,如有侵权请联系删除!财经信息仅供读者参考,并不构成投资建议,投资者据此操作,风险自担。

今日大家都在搜的词: