面向端侧 AI 推理部署的经验知识库,用于沉淀可复现的 SOP、兼容性证据、推理框架实践、模型接入方法、故障案例和性能优化结果。
仓库的目标不是保存“某台机器当前能跑”的零散结论,而是记录:在什么设备和软件组合上,为什么选择这条部署路线,如何验证,以及出现问题后怎样恢复。
- 将硬件、OS、驱动、推理后端、框架、部署工具、节点、模型和 workflow 视为一个强绑定整体。
- 兼容结论同时保留官方依据和目标设备实测,不能根据相似型号或单个组件版本推断。
- 通用 SOP 只规定需要查询、校验和留证的项目;具体设备、版本和指标在实际执行记录中填写。
- 所有下载制品、代码、模型和 workflow 尽量锁定不可变 revision、commit、digest 或 hash。
- 问题经验必须包含现象、环境、根因、解决措施、适用边界和重新验收范围。
- 禁止提交模型权重、输出数据、访问令牌、账户凭据和未经脱敏的日志。
| 分类 | 内容 |
|---|---|
| 部署 SOP | 从需求、设备确认、版本兼容到模型验收和回滚的标准流程 |
| 兼容性 | 硬件到模型的版本交集、官方证据和本机验证方法 |
| 推理运行时 | 各类硬件后端、推理框架和算子能力经验 |
| 模型接入 | ComfyUI、节点、loader、模型组件和 workflow 接入经验 |
| 故障排查 | 可复现问题、根因分析、修复和重新验收 |
| 性能优化 | 内存、延迟、吞吐、稳定性和优化前后对比 |
| 部署案例 | 经过验证的完整设备—软件—模型部署案例 |
| 记录模板 | 新增经验、兼容性决策和问题记录的统一格式 |
- ComfyUI 模型部署通用节点式 SOP(新手执行版)
- AMD Ryzen AI Max+ 395(128GB)本地推理模型部署测试报告
- Vidu S1:ModelScope 仓库无法用于本地 ComfyUI 部署(N0 阻断案例)
- Strix Halo(gfx1151)WSL2 + vLLM ROCm 实践与上游贡献
- Strix Halo(gfx1151)WSL2 + vLLM ROCm 部署 SOP(换机复现版)
- 选择正确分类,并从经验记录模板开始。
- 写明适用对象、设备和完整软件版本元组。
- 附上官方来源、访问时间及本机原始验证证据。
- 分开记录“已确认事实”“实测结果”“推测”和“待验证项”。
- 若方案改变任何绑定字段,明确需要重新执行哪些校验。
- 合入前确认文档不含权重、隐私数据、凭据或不可公开日志。