Skip to content

mingChen414/edge-model-deployment

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

8 Commits
 
 
 
 
 
 
 
 

Repository files navigation

端侧模型部署

面向端侧 AI 推理部署的经验知识库,用于沉淀可复现的 SOP、兼容性证据、推理框架实践、模型接入方法、故障案例和性能优化结果。

仓库的目标不是保存“某台机器当前能跑”的零散结论,而是记录:在什么设备和软件组合上,为什么选择这条部署路线,如何验证,以及出现问题后怎样恢复。

沉淀原则

  • 将硬件、OS、驱动、推理后端、框架、部署工具、节点、模型和 workflow 视为一个强绑定整体。
  • 兼容结论同时保留官方依据和目标设备实测,不能根据相似型号或单个组件版本推断。
  • 通用 SOP 只规定需要查询、校验和留证的项目;具体设备、版本和指标在实际执行记录中填写。
  • 所有下载制品、代码、模型和 workflow 尽量锁定不可变 revision、commit、digest 或 hash。
  • 问题经验必须包含现象、环境、根因、解决措施、适用边界和重新验收范围。
  • 禁止提交模型权重、输出数据、访问令牌、账户凭据和未经脱敏的日志。

内容导航

分类 内容
部署 SOP 从需求、设备确认、版本兼容到模型验收和回滚的标准流程
兼容性 硬件到模型的版本交集、官方证据和本机验证方法
推理运行时 各类硬件后端、推理框架和算子能力经验
模型接入 ComfyUI、节点、loader、模型组件和 workflow 接入经验
故障排查 可复现问题、根因分析、修复和重新验收
性能优化 内存、延迟、吞吐、稳定性和优化前后对比
部署案例 经过验证的完整设备—软件—模型部署案例
记录模板 新增经验、兼容性决策和问题记录的统一格式

当前内容

新增经验的最小要求

  1. 选择正确分类,并从经验记录模板开始。
  2. 写明适用对象、设备和完整软件版本元组。
  3. 附上官方来源、访问时间及本机原始验证证据。
  4. 分开记录“已确认事实”“实测结果”“推测”和“待验证项”。
  5. 若方案改变任何绑定字段,明确需要重新执行哪些校验。
  6. 合入前确认文档不含权重、隐私数据、凭据或不可公开日志。

About

端侧模型部署:SOP、兼容性证据、推理框架、模型接入、故障案例与性能优化经验库

Resources

Stars

Watchers

Forks

Releases

Packages

Contributors