OminiX: Fully Automated Native C++ Deployment for Diverse Large-Scale Learning Models

在原生C++中运行深度学习推理可实现高效的边缘部署，消除对Python/PyTorch的依赖，并支持快速、精确的量化。然而，将PyTorch模型转换为原生C++需要数周的高强度开发工作，且目前只有少数LLM被手动移植。我们提出了OminiX cpp，这是一个自动化流水线，利用具有结构化过程技能的AI智能体将任意PyTorch模型转换为针对GGML运行时优化的C++推理代码。OminiX cpp的通用性超越了LLM，支持多种模型类型，包括图像和视频生成、语音识别、文本转语音模型、世界模型以及视觉-语言-动作（VLA）模型。作为案例研究，我们展示了在OpenVLA（一个70亿参数的VLA模型）上的结果，实现了近乎无损的任务成功率、高达63%的内存减少以及高达1.52倍的加速。