快科技9月10日消息,这一年来内存、SSD价格大涨了5-10倍,这跟AI需求有关,然而今天正式发布DeepSeekV4.1Flash不一样,它极大地减少了HBM内存及SSD的用量,只有之前1/4到1/8需求。
DeepSeekV4.1Flash虽然从名字上看比之前的V4.0只进化了0.1版,但本质上已经是不同的大模型了,V4Flash是2820亿参数量底座,激活130亿参数。这一切是怎么做到的呢,只能说V4.1Flash就是AI基建优化之神,尤其是KVCache缓存方面,主缓存改成FP4,再加跨层复用,每个Token的全局KV只剩890字节,约为V4Flash的1/4;长期放在SSD或内存里的缓存进一步降到约1/8。换句话说,V4.1相比V4只需要很少的HBM及SSD硬盘,降幅超过75%,如果这个技术能全面推广开来,那全球AI对内存及SSD的需求至少可以减少两三倍。
