使用清程自研赤兔推理引擎进行大模型部署，能够比市面常见开源软件更快、更稳定，用户体验更好，企业算力支出更少。凭借卓越的性能，赤兔推理引擎在2024年AIPerf - Inference吞吐性能排行榜中位居榜首，并在众多大模型推理部署项目中得到认可。