CSGHub-Lite 简介

CSGHub-Lite 是一款为桌面端设计的轻量化工具，旨在让用户在本地轻松运行大语言模型（LLM）。它集成了模型下载、本地推理、交互式聊天以及与 OpenAI 兼容的 REST API —— 所有功能都包含在单个二进制文件中。

核心特性

• 一键启动 — 通过 csghub-lite run 命令，自动完成下载、加载并进入聊天界面。
• 模型常驻 — 退出聊天后，模型默认在内存中保持加载状态（5分钟），以便下次瞬间重连。
• 自动启动服务 — 后台 API 服务会自动随命令启动，无需手动设置。
• 模型下载 — 支持从 CSGHub 官方平台（hub.opencsg.com）或私有部署环境下载模型。
• 本地推理能力 — 基于 llama.cpp，支持 GGUF 格式，并能自动转换 SafeTensors 模型。
• 流式交互聊天 — 提供流畅的命令行聊天体验，支持流式输出。
• REST API — 提供符合 Ollama 接口规范的 REST API。
• 跨平台支持 — 兼容 macOS、Linux 和 Windows。
• 断点续传 — 下载中断后可从上次位置继续，节省时间和带宽。

支持模型格式

格式	下载支持	推理支持
GGUF	是	是（通过 llama.cpp）
SafeTensors	是	是（自动转换为 GGUF）

SafeTensors 检查点将使用捆绑的 llama.cpp convert_hf_to_gguf.py 和系统 Python 进行一次性转换。建议安装以下包：

pip3 install torch safetensors gguf transformers