ONNX Runtime 概述

ONNX Runtime 是跨平台的机器学习模型加速器，具有灵活的接口以集成特定于硬件的库。ONNX Runtime 可以与来自 PyTorch、Tensorflow/Keras、TFLite、scikit-learn 和其他框架的模型一起使用。

ONNX Runtime 在模型图上应用许多图优化，然后根据可用的特定于硬件的加速器将其划分为子图。核心 ONNX 运行时中的优化计算内核提供了性能改进，分配的子图从每个执行提供程序的进一步加速中受益。