WebLLM：纯浏览器跑大模型的推理引擎，18.8K star，全程无需服务器
· 来源：GitHub
MLC 团队的 WebLLM 用 WebGPU 硬件加速，把语言模型推理整个搬进浏览器：不依赖任何后端，兼容 OpenAI API 风格调用，登上 Hacker News 首页。
WebLLM 是 MLC（mlc-ai）团队的高性能浏览器内大模型推理引擎，9 月 2 日重回 Hacker News 首页，GitHub 上已积累 18.8K star、1.4K fork。
它的核心主张只有一句：把语言模型推理直接搬到网页浏览器里，借助 WebGPU 做硬件加速，全部计算在浏览器内完成，不需要任何服务器支持。这意味着模型权重下载到本地后，对话数据不离开用户设备，也不产生按 token 计费的推理成本。
工程上它对齐了 OpenAI API 的调用风格，因此已有的前端代码往往只需替换 client 即可迁移，流式输出、JSON 模式等常见能力都在。仓库提供了完整文档、技术博客、论文和一组可直接运行的示例，涵盖聊天、嵌入生成、Web Worker/Service Worker 中的后台推理等场景。
适用场景很清晰：隐私敏感的本地助手、离线可用的网页应用、以及不愿为演示项目承担推理账单的开发者。代价同样清晰——首次使用需要下载数 GB 的权重，且依赖浏览器的 WebGPU 支持与用户设备的显存。