KTransformers: Full-Precision Inference for 600B+ MoE Models on Consumer Hardware

KTransformers是一个开源的CPU-GPU异构推理框架，能够在消费级GPU上以FP8精度运行DeepSeek-V3和Qwen3.5-397B等前沿MoE模型。通过将专家计算卸载到CPU并配合CUDA Graph可捕获的协调机制，它实现了35+ tokens/秒的解码速度——使600B+参数模型无需数据中心基础设施即可使用。