DeepSeek 启用硬盘缓存技术,大模型价格再降一个数量级


DeepSeek 宣布启用上下文硬盘缓存技术,把预计未来会重复使用的内容,缓存在分布式的硬盘阵列中。如果输入存在重复,则重复的部分只需要从缓存读取,无需计算。该技术不仅降低服务的延迟,还大幅削减最终的使用成本。

缓存命中的部分,DeepSeek 费用为 0.1元 每百万 tokens。至此,大模型的价格再降低一个数量级。

目前,硬盘缓存服务已经全面上线,用户无需修改代码,无需更换接口,硬盘缓存服务将自动运行,系统自动按照实际命中情况计费。只有当两个请求的前缀内容相同时(从第 0 个 token 开始相同),才算重复。中间开始的重复不能被缓存命中。

两个经典场景的缓存举例:

多种应用能从上下文硬盘缓存中受益:

  • 具有长预设提示词的问答助手类应用
  • 具有长角色设定与多轮对话的角色扮演类应用
  • 针对固定文本集合进行频繁询问的数据分析类应用
  • 代码仓库级别的代码分析与排障工具

公告指出,该技术最高可以节省 90% 的费用(需要针对缓存特性进行优化)。即使不做任何优化,按历史使用情况,用户整体节省的费用也超过 50%。缓存没有其它额外的费用,只有0.1 元每百万 tokens。缓存占用存储无需付费。

该缓存系统在设计的时候已充分考虑了各种潜在的安全问题。每个用户的缓存是独立的,逻辑上相互不可见,从底层确保用户数据的安全和隐私。长时间不用的缓存会自动清空,不会长期保留,且不会用于其他用途。


相關推薦

2025-05-07

后者为深度推理模型,官方测试结果显示其整体效果领先DeepSeek R1、V3最新版,价格为DeepSeek R1调用价格的25%。 关于国行版苹果AI的上线时间,苹果计划于本月下旬启动iOS 18.6的测试(目前最新版本为iOS 18.4.1),该版本预计于今

2025-04-02

上又进一步。2025年1月,我国AI初创公司深度求索发布的DeepSeek R1以技术路径、成本控制与开源策略的全面创新,为AI研发提供了新范式。3月百度发布的文心大模型X1在性能对齐的情况下,进一步将API调用价格降至R1的一半。人工

2025-05-01

DeepSeek 在官方 Hugging face 库上低调开源发布了其最新开源模型 DeepSeek-Prover-V2-671B。一个专注于数学定理证明的大语言模型,专门针对形式化数学证明任务进行优化。 新模型具有以下特点: 模型规模巨大:参数量约为671B(671

2025-03-27

源当日就登顶全球主流AI开源社区Hugging Face的趋势榜。 DeepSeek(深度求索)达成过“开源周”,其在2月末连续五天发布五个代码库,并于近日继续开源上线了升级后的DeepSeek-V3模型。 阶跃星辰则在一个月左右时间开源三款多模态大

2025-03-27

,方便管理三方应用接入、授权、日志 AI组件支持接入DeepSeek,支持DS推理 PC前端:角色管理支持配置角色人员、菜单资源支持配置移动端菜单、确认删除提示支持明确哪条数据等 devtools工具:创建模型时支持导入视图、

2025-06-12

输出8元/百万 tokens,综合成本比豆包1.5·深度思考模型、DeepSeek R1降低63%。 Seedance 1.0 pro 模型每千 tokens 0.015元,相当于每生成一条5秒的1080P 视频只需3.67元,行业最低。 豆包·实时语音模型已全量上线火山方舟,对企业客户开

2025-05-16

DeepSeek 团队近日发表了新论文《Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures》,把 DeepSeek-V3 在训练和推理过程中,如何解决“硬件瓶颈”的方法公布了出来。 论文主要介绍了 DeepSeek-V3 在硬件架构

2025-03-27

DeepSeek-V3 模型近日进行了更新,虽然大家都说更新后的 DeepSeek-V3-0324 强到没边——哪怕叫 DeepSeek V3.5 也不为过,但官方仍低调地称其是“小版本升级”。 下面是官方针对 DeepSeek-V3-0324 发布的更新说明。 DeepSeek V3 模型已完成

2025-04-08

整,具体调整方案如图所示: 注:kimi-latest 模型自动缓存后的价格仍为 ¥1 / M Tokens。 上下文缓存的价格调整方案如下: 更多详情可查看: 模型推理产品定价 上下文缓存产品定价

2025-06-14

一、DeepSeek获得最大的成功是梁文锋团队以创新的姿态研发出一条“低投资、低成本、有限资源,高效率,高性价比(产出)”发展人工智能的新路径。 二、DeepSeek堪称为当前中国人工智能的代表作,正在改变世界人工智能的发

2025-06-05

🚀 Xinference v1.6.1 更新日志 ✅ 本次亮点 🧠 新增 Deepseek-R1-0528 及其蒸馏模型 Deepseek-R1-0528-Qwen3支持 Deepseek R1 最新版模型,语言理解与生成能力进一步增强。 🧩 Transformers 的视觉语言(VL)模型推理逻辑全面重构新架构

2025-03-25

Xinference v1.4.0 发布 🚀! ✨ Gemma-3 模型重磅来袭,DeepSeek-v3 现已支持 Function Calling! 🎉 社区贡献者突破 100+!感谢大家的支持,期待更多伙伴加入贡献代码 💪💖。 🌍 社区版 📌 更新指南 * Pip:pip install 'xinference==1.4.0

2025-04-22

同类模型小一个数量级的情况下,整体效果对标OpenAI o1和DeepSeek R1,再次证明了基于国产算力训练的全栈自主可控大模型具备登顶业界最高水平的实力和持续创新的潜力。 ✨融入了更多场景复杂类型数据,模型的泛化性也取得

2025-03-27

低服务器资源占用,同时深度融合各种大模型如智谱AI 、DeepSeek 等,开放 linux 一键部署。 它可以提供标准的文本翻译API,一方面可以配合 translate.js 进行使用,另一方面如果你需要文本翻译,完全可以使用它,而不用再