想在自己的 Mac 上运行大模型,过去常要先打开终端、输入命令,再手动处理模型和服务。llama.app把这些步骤收进普通桌面应用:通过 DMG 安装后,菜单栏可查看 API 地址——其他软件连接本地模型的入口、已安装模型和模型推荐。模型仍在自己的设备上计算,这就是“本地推理”。
这件事有意思,不只因为多了一个界面。据 Reddit 帖子作者 rm-rf-rm 称,llama.app来自 Hugging Face/llama.cpp 团队;他长期使用 llama.cpp,仍一直没注意到它。帖子还提到,偏爱命令行的用户可一条命令安装;新的 llama serve 可不带参数启动,并按收到的请求选择合适模型。换句话说,llama.cpp正从底层推理引擎,向家人朋友也更容易上手的本地 AI 产品迈一步。不过目前材料只来自这篇用户帖,未披露应用版本、系统要求等细节。