本地私有化大模型

属性	详情
模块	本地大模型与基础设施 (LLMOps)
状态	规划建设中
维护者	Ateng

本模块专注于开源大模型在本地与私有算力环境下的部署、推理加速与工程集成：

• 轻量本地推理：Ollama、LM Studio 快速接入与离线运行实践
• 高性能推理引擎：vLLM、TensorRT-LLM 高并发部署、显存优化与 PagedAttention 调优
• 优秀开源模型：DeepSeek、Qwen（通义千问）等模型的实测、量化与基准评测

提示

本地部署实操手册正在整理建设中，敬请期待！