• MK体育(中国)官方网站假设GPU租借本钱为2好意思元/小时-MK体育- MK体育官方网站- MK SPORTS

  • 发布日期:2025-03-11 10:21    点击次数:62

    MK体育(中国)官方网站假设GPU租借本钱为2好意思元/小时-MK体育- MK体育官方网站- MK SPORTS

    DeepSeek又有大音讯MK体育(中国)官方网站。

    3月1日,DeepSeek发表题为《DeepSeek-V3/R1 推理系统概览》的著作,全面揭晓V3/R1 推理系统背后的要津奥密。

    最为引东谈主凝视的是,著作初度线路了DeepSeek的表面本钱和利润率等要津信息。据先容,假设GPU租借本钱为2好意思元/小时,总本钱为87072好意思元/天;淌若通盘tokens沿路按照DeepSeek R1的订价斟酌,表面上一天的总收入为562027好意思元/天,本钱利润率为545%。

    字据DeepSeek官方线路,DeepSeek V3和R1的通盘作事均使用H800 GPU,使用和考验一致的精度,即矩阵斟酌和dispatch 传输吸收和考验一致的FP8门径,core-attention斟酌和combine传输吸收和考验一致的BF16,最猛进度保证了作事恶果。

    另外,由于日间的作事负荷高,晚上的作事负荷低,因此DeepSeek已毕了一套机制,在日间负荷高的期间,用通盘节点部署推理作事。晚上负荷低的期间,减少推理节点,以用来作念策画和考验。

    在最近24小时(2025年2月27日12:00至28日12:00)的统计周期内:GPU租借本钱按2好意思元/小时斟酌,日均本钱为87072好意思元;若通盘输入/输出token按R1订价(输入1元/百万token、输出16元/百万token)斟酌,单日收入可达562027好意思元,本钱利润率高达545%。

    不外,DeepSeek官方坦言,试验上莫得这样多收入,因为V3的订价更低,同期收费作事只占了一部分,另外夜间还会有扣头。

    DeepSeek的高利润率源于其蜕变的推理系统假想,中枢包括大界限跨节点行家并行(EP)、斟酌通讯叠加与负载平衡优化三大技能支抓:行家并行(EP)培植浑沌与反应速率,针对模子荒芜性(每层仅激活8/256个行家),吸收EP战略膨胀总体批解决界限(batch size),确保每个行家赢得饱和的斟酌负载,权贵培植GPU愚弄率;部署单位动态调停(如Prefill阶段4节点、Decode阶段18节点),平衡资源分派与任务需求。

    斟酌与通讯叠加荫藏延长,Prefill阶段通过“双batch交错”已毕斟酌与通讯并行,Decode阶段拆分attention为多级活水线,最大适度覆盖通讯支出。

    全局负载平衡幸免资源豪侈,针对不同并行方法(数据并行DP、行家并行EP)假想动态负载平衡器,确保各GPU的斟考虑、通讯量及KVCache占用平衡,幸免节点空转。

    粗浅来说,EP就像是“多东谈主相助”,把模子中的“行家”散布到多张GPU上进行斟酌,大幅培植Batch Size,榨干GPU算力,同期行家散布,裁汰内存压力,更快反应。

    DeepSeek在工程层面进一步压缩本钱。日夜资源调配:日间岑岭时段全力支抓推理作事,夜间闲置节点转用于研发考验,最大化硬件愚弄率;缓存掷中率达56.3%:通过KVCache硬盘缓存减少重复斟酌,在输入token中,有3420亿个(56.3%)凯旋掷中缓存,大幅裁汰算力虚耗。

    详尽自券商中国MK体育(中国)官方网站