ASoN 的博客｜独立开发者技术笔记 https://ason.top/blog ASoN 的个人博客：记录 AI Coding、独立开发与前端技术的实践，分享 AI 打造的产品与日常思考。 zh-CN ason.fuzhen@gmail.com (ASoN) ason.fuzhen@gmail.com (ASoN) Sun, 01 Nov 2026 00:00:00 GMT https://ason.top/blog/ai/local-llm-deployment-101 本地模型部署启蒙：从 Ollama 单机到 SGLang 与 MoE https://ason.top/blog/ai/local-llm-deployment-101 把本地模型部署这条线一次讲清：量化与 GGUF 怎么让 9B 模型在 CPU 上跑起来；用 Ollama + Docker 落地（镜像/容器、host 网络、模型持久化、断网 U 盘交付）；Ollama 与 SGLang 怎么选（GGUF 对 HuggingFace、单节点对多卡高并发）；再到 GPU、MoE、FP8、张量并行与 nvidia-container-toolkit。 Sun, 01 Nov 2026 00:00:00 GMT ason.fuzhen@gmail.com (ASoN) AI本地模型OllamaSGLangDockerGPUMoE量化