我的笔记本是一台很普通的游戏本:Ryzen 7 8845H、16GB 内存、RTX 4060 Laptop,显存只有 8GB。按很多人的印象,这个配置跑本地大模型只能“玩玩”。
但我现在每天双击一个启动文件,浏览器就会打开一个聊天页面:能看图、能看视频、能切换思考深度、能调用本机工具,文字生成速度实测约 31 tokens/s,全程不联网,也不花一分钱 API 费用。跑在里面的是 Qwen3.5-9B,推理框架是 llama.cpp。
这篇文章分三部分:我是怎么选框架和模型的;一份面向新手、每一条命令都写出来的安装教程;以及我踩过的坑和对应的解决办法。