dsh-model-manager

Name: dsh-model-manager
Availability: InStock
Author: Ansonfishing

Manage local LLM inference servers in DSH: GPU registry, parameter profiles, VRAM validation, and tok/s benchmarks for llama.cpp, SGLang, and vLLM

Introduction

语言 / Language: 中文 | English

本地 LLM 推理服务的「总控台」——DSH(DeepSeek Harness)插件。

面板截图

本地同时跑几个推理服务(llama.cpp / SGLang / vLLM)时,参数散落在终端历史和笔记本里:这个模型该配哪套 -c / -np?显存到底够不够?哪个框架在这张卡上能起?

装好本插件,这些答案都在一个面板里:

前提:DSH(带 web)+ pnpm;GPU 检测需要 python3(缺失时自动回退 nvidia-smi)。

cd ~/.dsh/profiles/web                      # 你的 DSH web profile 目录
pnpm add github:Ansonfishing/dsh-model-manager

然后在 package.json 的 dsh.profile.bundles 数组里加上 "dsh-model-manager",重启 dsh。会话视图出现「模型管理」tab,就好了。

服务注册表——登记本地推理服务(端口、框架、模型、GPU),健康检查实时显示,一键停止。
参数 Profile——每个「模型 × 框架 × GPU」组合的命名参数版本(llama.cpp / SGLang / vLLM),按框架官方参数顺序渲染,推荐值对照 + 差异高亮。
GPU 检测——自动枚举显卡(libcuda 主源,nvidia-smi 回退);卡编号 = CUDA_VISIBLE_DEVICES 值。
显存校验——保存 Profile 时按 -c / -np 估算 KV 占用,超出目标卡容量立刻 warning。
一键测速——对已运行服务发固定 prompt(非流式 256 token),记录 tok/s。
安全红线——绝不 pkill;11437(DSH 自身推理端口)停止前需二次确认。

clone 本仓库,浏览器直接打开 test/harness/index.html——零依赖渲染 harness,用 mock 数据渲染完整面板,?chrome=0 隐藏 harness 顶栏。

仓库不内置任何显卡映射。想让面板显示卡名和显存容量,创建 ~/.dsh/model-manager/builtin-gpus.local.json:

{
  "0": { "name": "RTX 4090", "memGb": 24 },
  "1": { "name": "RTX 6000 Ada", "memGb": 48 }
}

没有这个文件时面板回退为 "GPU 0 / GPU 1",显存校验自动跳过。

npm test                          # node --test test/*.test.mjs
node build/build-client.cjs       # 从 mockup-v3.html 重新构建 lib/client.js

本地开发:clone 后在 profile 里用 pnpm add link:../path/to/dsh-model-manager。客户端改动浏览器 F5 即可;Node 侧(index.js / lib/*.js)改动需重启 dsh。