TorchAO vs ONNX Runtime: 8-bit Quantization Benchmark

TorchAO가 M1 MacBook에서 8비트 양자화된 Llama 3.2 모델 추론에서 ONNX Runtime보다 38% 더 빠른 성능을 기록했다. 저자는 프레임워크 자체보다 양자화 방식이 성능에 더 큰 영향을 미친다고 강조한다.