赤兔推理引擎开源地址: https://github.com/thu-pacman/chitu
期待你为赤兔点星👍✨
1.2k
stars on GitHub
手把手教你部署
赤兔部署在英伟达上
赤兔部署在华为昇腾上
赤兔部署在沐曦上
关于赤兔
清程极智的“赤兔”高性能推理引擎定位于「生产级大模型推理引擎」
可应用于实际生产环境，稳定性足以承载并发业务流量
企业在大模型私有化部署过程中，
利用赤兔，可显著减少算力支出，提升模型运行速度，提升用户在推理侧的使用体验
同时，赤兔充分考虑了企业大模型落地从小规模试验到大规模部署的渐进式特点，
致力于为企业提供灵敏高效的部署方案，降低技术门槛和早期投入
助力企业逐步实现智能化转型，推动大模型在业务场景中的广泛应用
国产算力部署大模型神器
自主
打破芯片绑定
支持昇腾实现FP8、
FP4数据精度推理
支持沐曦实现FP8格式
推理Deepseek
支持英伟达非H系列卡
实现FP8推理
百搭
兼容全硬件形态
纯 CPU 部署 纯 CPU 部署
CPU+GPU混合部署
单 GPU 部署
大规模集群部署
极速
为部署降本增效
对比国外引擎
部署DeepSeek满血版
赤兔GPU用量减半
推理提速3.15倍
昇腾FP4加速库降
算力需求75%
单卡性能翻倍精度无损！
灵活
多场景可用
支持主流模型
如Qwen、DeepSeek等
大语言及多模态应用
不挑模型参数
支持从7B到138B等
多种参数量模型
标准接口
兼容OpenAI、HTTP接口，
图像生成兼容ComfyUI接口
诞生背景
当前，构建自主可控的AI技术体系已成为国家战略竞争的核心命题。随着全球科技博弈日趋激烈，人工智能作为数字经济时代的基础设施，其技术栈的完整性直接关系到国家数字主权与产业安全。在基础模型层，我国已实现重大突破，如DeepSeek、QWQ、智谱等优秀模型的出现已生动证明我国大模型具备了重构全球技术生态的能力。然而，在关键的大模型推理部署环节，产业界仍严重依赖国外工具。
在此背景下，清程极智自主研发赤兔推理引擎并与清华大学联合开源。它具备「混合硬件兼容、灵活部署、高效推理」的特点，帮助多种国产芯片实现低精度数据类型运行大模型，不仅大幅提升了推理效率，还降低了算力成本，助力企业实现从实验到规模化落地的平滑过渡，成为大模型部署的关键加速器。