设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
123
返回列表 发新帖
楼主: 沉宝
打印 上一主题 下一主题

[信息技术] DeepSeek R1全参数模型一个可能的本地部署方案

[复制链接]
  • TA的每日心情
    奋斗
    昨天 01:39
  • 签到天数: 1295 天

    [LV.10]大乘

    41#
    发表于 昨天 21:09 | 只看该作者
    我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2,硬盘因为以前装nas不用买,后来淘了Dell730 HP z440,用下来感觉单路CPU更合适。期间装了N多大模型,现在只剩ragflow+qwen 3.5 ,35b做map,27b做reduce,都刚好可以单卡运行。前两天刚跟风试了turboquant,效果挺好。今天发现qwen 3.6发布,并且有UD IQ4量化,正在下载准备试试。7 t# R7 S. _: m' G8 y
    现在有更好的选择,IBM AC922,六块v100 16g准系统闲鱼上报5800元。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    42#
     楼主| 发表于 6 小时前 | 只看该作者
    leekai 发表于 2026-4-18 21:09
    + ^8 G& B" l- r# m3 i- l. V2 e我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2,硬盘因为以前装nas不用买,后来淘了Dell730 HP z440, ...

    6 T0 V5 I; q: n- k7 I( O2080和v100的优点是可以通过NVLink 获得很大的显存。缺点是缺乏 fp8 等先进架构的支持。不过看在那价格上,还能说什么呢?!
    0 p, E( }+ r! a% ?3 E4 a
    ; n8 _% f: E! R2 j今年较之去年,最大的一个变化是像小龙虾之类的智能体流行起来了。通过不断的自我进化,智能体在很多方面可以达到和超过简单使用混合专家模型(MoE)。而智能体的后台模型,如果想跑在自己的机器上,小一些的稠密模型其效果往往好于MoE。与人相比,智能体的AI对话中提示词的长度平均增长了许多倍,从而也就要求更强的KV缓存。如此turboquant正逢其时。/ E9 j! \" z+ `  d9 M
    1 O( F3 V2 ~" z
    比TurboQuant更强的还有RotorQuant。感兴趣的话可以关注一下它在你使用的模型上落地的进展。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-4-19 18:07 , Processed in 0.054299 second(s), 17 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表