ONNX Nedir?

ONNX, 2017'de Microsoft ve Facebook (bugünkü Meta) tarafından başlatıldı; bugün açık kaynak bir topluluk projesi olarak sürdürülüyor.

ONNX nedir?

Bir modeli PyTorch ya da TensorFlow gibi bir kütüphaneyle eğittiğinde, model o kütüphanenin kendi biçiminde kaydedilir. Ancak modeli bir mobil uygulamada, web tarayıcısında ya da farklı bir donanımda çalıştırmak istediğinde bu biçim uygun olmayabilir. ONNX, modeli bir hesaplama grafiği olarak tanımlayan ortak bir dildir: hangi işlemlerin hangi sırayla yapılacağı ve ağırlıkların değerleri tek dosyada saklanır.

Nasıl kullanılır?

1. Model eğitildiği kütüphaneden ONNX biçimine dışa aktarılır.
2. ONNX dosyası bir çıkarım motoru ile yüklenir; bunlardan biri ONNX Runtime'dır.
3. Çıkarım motoru modeli, hedef donanıma (işlemci, ekran kartı, mobil yonga ya da NPU) uygun şekilde optimize ederek çalıştırır.

Avantajları

• Taşınabilirlik: Eğitim ve dağıtım ortamları birbirinden ayrılabilir.
• Optimizasyon: Çıkarım motorları grafik üzerinde işlemleri birleştirme gibi iyileştirmeler yapabilir.
• Geniş destek: Birçok donanım üreticisi ONNX modellerini çalıştırmak için araç sağlar; bu da uç yapay zekâ uygulamalarında işe yarar.

Nelere dikkat etmeli?

Her model sorunsuz dışa aktarılamaz; özel katmanlar ya da yeni işlemler desteklenmeyebilir. Dışa aktarma sonrası çıktıların orijinal modelle aynı olduğunu test etmek gerekir. Çok büyük dil modelleri için başka özel biçimler daha yaygın olabilir.