大家好，我是何三，独立开发者
一个 744B 参数的模型，跑在 25GB 内存的笔记本上。你没看错，不是集群，不是服务器，就是你我桌上那种普通笔记本+大内存。
这玩意儿叫 colibri，Hacker News 上一口气冲到 862 points，214 条评论炸翻全场。作者就一个人，用纯 C 写了个~1300 行的推理引擎，让 GLM 5.2——一个 744B 参数的 Mixture-of-Experts 大模型——在消费级硬件上跑起来了。
关键是，不需要 GPU，不需要 Python 运行时，甚至不需要 BLAS 库。
它怎么做到的？
核心思路就一句话：不是所有参数都需要同时活着。
GLM 5.2 虽然是 744B 参数，但它是个 MoE（混合专家）模型。每次推理只激活其中 ~40B 参数，其余的在磁盘上睡大觉，用到谁叫谁。
你可以这么理解——普通模型就像一个大仓库，里面所有东西都堆在一起，要什么得把整个仓库搬出来。MoE 模型像一栋楼，每个房间住了不同的专家，你只找你需要的那个房间，其他房间的门关着就行。
那 colibri 做的事情就更极致了。它把那 ~40B 里每次都不变的"常驻专家"（大概 17B 参数）量化到 int4，塞进内存，占 ~9.9GB。剩下的 21,504 个"路由专家"全放在磁盘上，按需加载，谁被叫到谁上。
一套 LRU 缓存 + 操作系统自己的页缓存，把高频专家留在内存里，冷门的随用随取。
用大白话说：以前你跑大模型，得把整个模型塞进显存或者内存——对 744B 的模型来说，就是 1TB 以上的空间，除了数据中心没人扛得住。colibri 换个思路：反正每次只有几十个专家干活，剩下的在硬盘里躺着就行。硬盘便宜啊，370GB 的 SSD 几百块，人人都有。
说实话，这块我一开始也没完全搞懂——MoE 的流式加载在推理时会不会有严重的 I/O 瓶颈？结果作者放了数据：Apple M5 Max 上能跑到 1.06 tok/s。
1.06 tok/s，慢吗？当然慢。GPT-4 跑得快得多。但这意味着什么你知道吗？这意味着一个没有 GPU 的人，也能在自己的笔记本上跟 744B 参数的模型对话了。
说到这个我就想起一件事。前阵子我折腾 Ollama，想跑 Llama 3 70B，结果 32GB 的 MacBook 直接 OOM，风扇狂转五分钟，我差点以为电脑要起飞了。那时候我在想，是不是本地跑大模型这事，普通人就别想了。
结果 colibri 的作者说：不，不需要 GPU，不需要 128GB 内存，一台 12 核的笔记本 + 25GB RAM 就够了。
这感觉就像——你攒了好几年钱想买辆车，结果有人告诉你，走路也能到，只是慢一点。
怎么上手？
项目写得挺直接的。你要做的是：
git clone https://github.com/JustVugg/colibri
cd colibri
# 下载 GLM 5.2 的 int4 权重（注意你得先有 370GB 左右的磁盘空间）
# 然后一条命令跑起来
./colibri --model ./glm-5.2-int4/ --prompt "你好，请介绍一下你自己"
注意，下载模型权重这一步比较耗时——GLM 5.2 的 int4 量化版大概要 370GB。但好在是一次性的，下载完就能离线跑。
苹果 M 系列芯片实测效果最好（统一内存架构的优势），Linux 桌面次之，Windows 也能跑但得自己编译。
对了，模型需要自己从 HuggingFace 下载并量化，项目 README 里有详细步骤。坦白讲整个流程对新手有一定门槛，但文档写得还算清楚——比某些文档写得跟谜语人似的项目强多了。
同类对比
说到本地大模型推理，就不得不提 llama.cpp 和 Ollama。前者是本地推理的开山鼻祖，后者是它的一键安装版。但他们能跑多大模型？通常 7B 到 70B 之间。
colibri 直接干到了 744B。当然，因为它是 MoE 架构，实际计算量跟 40B 的 Dense 模型差不多，但它能调用 744B 里所有专家的知识。
另一个有意思的项目是 KoboldCPP，专为角色扮演和故事创作优化，但同样受限于模型大小。
如果你对这类工具有兴趣，我此前还整理过《2026 年 GitHub 高性能神器排行榜》，关注后回复「工具」获取。
GitHub 地址：https://github.com/JustVugg/colibri
目前已经近 3 千 Star 了，考虑到它上线才 10 天，这个速度相当恐怖。
总之一句话：colibri 证明了想跑大模型，不一定需要 H100 集群。一台普通笔记本，纯 C，一千多行代码，就够了。
快是真的不快，但门槛是真的低。
有 GPU 的当奔驰开，没有的，骑自行车也能到。重要的是——你也能上车了。
本文使用 MGO 编辑并发布
关注"何三笔记"，回复"mgo" 免费下载使用
