赤兔
CHITU
国产算力部署大模型神器
赤兔现已开源
开源地址: GitHub / Gitee ,期待你为赤兔点星👍✨
chitu-new-1
关于赤兔
清程极智的“赤兔”高性能推理引擎定位于「生产级大模型推理引擎」。
企业在大模型私有化部署过程中,利用赤兔,可显著减少算力支出,提升模型运行速度,提升用户在推理侧的使用体验。
同时,赤兔充分考虑了企业大模型落地从小规模试验到大规模部署的渐进式特点,致力于为企业提供灵活且高效的部署方案,降低技术门槛和早期投入,助力企业逐步实现智能化转型,推动大模型在业务场景中的广泛应用。
feature-icon
自主·打破芯片绑定
支持昇腾实现 FP8、
FP4 数据精度推理
支持沐曦实现 FP8 格式
推理 DeepSeek
支持英伟达非 H 系列卡
实现 FP8 推理
feature-icon
极速·为部署降本增效
对比国外引擎部署 DeepSeek 满血版,赤兔 GPU 用量减半推理提速 3.15 倍
昇腾FP4加速库降算力需求 75%,单卡性能翻倍
feature-icon
百搭·兼容全硬件生态
纯 GPU 部署
纯 CPU 部署
CPU+GPU 混合部署
单 GPU 部署
大规模集群部署
feature-icon
灵活·多场景可用
支持主流模型
如 Qwen、DeepSeek 等
大语言及多模态应用
不挑模型参数
支持从 0.6B 到 1T 等
多种参数量模型
标准接口
兼容 OpenAI HTTP 接口
图像生成兼容 ComfyUI 接口
手把手教你部署
诞生背景
当前,构建自主可控的AI技术体系已成为国家战略竞争的核心命题。随着全球科技博弈日趋激烈,人工智能作为数字经济时代的基础设施,其技术栈的完整性直接关系到国家数字主权与产业安全。在基础模型层,我国已实现重大突破,如DeepSeek、QWQ、智谱等优秀模型的出现已生动证明我国大模型具备了重构全球技术生态的能力。然而,在关键的大模型推理部署环节,产业界仍严重依赖国外工具。
在此背景下,清程极智自主研发赤兔推理引擎并与清华大学联合开源。它具备「混合硬件兼容、灵活部署、高效推理」的特点,帮助多种国产芯片实现低精度数据类型运行大模型,不仅大幅提升了推理效率,还降低了算力成本,助力企业实现从实验到规模化落地的平滑过渡,成为大模型部署的关键加速器。