设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
123
返回列表 发新帖
楼主: 沉宝
打印 上一主题 下一主题

[信息技术] DeepSeek R1全参数模型一个可能的本地部署方案

[复制链接]
  • TA的每日心情
    奋斗
    15 小时前
  • 签到天数: 1341 天

    [LV.10]大乘

    41#
    发表于 2026-4-18 21:09:36 | 只看该作者
    我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2,硬盘因为以前装nas不用买,后来淘了Dell730 HP z440,用下来感觉单路CPU更合适。期间装了N多大模型,现在只剩ragflow+qwen 3.5 ,35b做map,27b做reduce,都刚好可以单卡运行。前两天刚跟风试了turboquant,效果挺好。今天发现qwen 3.6发布,并且有UD IQ4量化,正在下载准备试试。; K- |) m# }0 d5 c# J2 Y
    现在有更好的选择,IBM AC922,六块v100 16g准系统闲鱼上报5800元。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    42#
     楼主| 发表于 2026-4-19 11:10:53 | 只看该作者
    leekai 发表于 2026-4-18 21:09" s) G# {0 ]0 w* [
    我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2,硬盘因为以前装nas不用买,后来淘了Dell730 HP z440, ...
    0 W2 B' w, h- l. }. g/ W$ c2 D" _
    2080和v100的优点是可以通过NVLink 获得很大的显存。缺点是缺乏 fp8 等先进架构的支持。不过看在那价格上,还能说什么呢?!7 }# G0 P$ T: o  }3 m! y

    ) H7 |) k$ i* m今年较之去年,最大的一个变化是像小龙虾之类的智能体流行起来了。通过不断的自我进化,智能体在很多方面可以达到和超过简单使用混合专家模型(MoE)。而智能体的后台模型,如果想跑在自己的机器上,小一些的稠密模型其效果往往好于MoE。与人相比,智能体的AI对话中提示词的长度平均增长了许多倍,从而也就要求更强的KV缓存。如此turboquant正逢其时。
    $ h* B- E  K, B2 v& D* r
    + o5 s! z- ]# N: j比TurboQuant更强的还有RotorQuant。感兴趣的话可以关注一下它在你使用的模型上落地的进展。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2026-3-17 22:01
  • 签到天数: 1133 天

    [LV.10]大乘

    43#
    发表于 2026-4-20 13:43:34 | 只看该作者
    回首这个帖子# @* c# Z+ o8 F/ U5 H+ N
    如果去年就下手干他1个T的ECC DDR5内存的话...: M4 h/ i1 U, |3 h- U4 S9 Y7 K+ f( j
    . \! J# s! _: U* k
    俺就不用今年年初买个128G内存条那么心痛了
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    15 小时前
  • 签到天数: 1341 天

    [LV.10]大乘

    44#
    发表于 2026-4-21 17:32:34 | 只看该作者
    大黑蚊子 发表于 2026-4-20 13:43
    6 U, y5 {+ Q' p+ n. e% \1 h: O回首这个帖子
    + b: E$ n6 O8 D! P! X! h) S" A如果去年就下手干他1个T的ECC DDR5内存的话...

    * L3 k. \( M+ A3 m. m7 K7 W我一直以为自己加钱换了512幸好前两年弄了几根1T 2T 4T的nvme还有SATA SSD,就是去年初看来看去没买氦气盘有点后悔。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-6-7 22:12 , Processed in 0.065378 second(s), 18 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表