İçeriğe geç
parazade
Yapay Zeka

Çıkarım (Inference) Ne Demek?

İngilizce: Inference

Yayın: · Son güncelleme:

Çıkarım (Inference) Ne Demek? Kısaca

Çıkarım (inference), eğitimi tamamlanmış bir yapay zekâ modelinin yeni bir girdiyi alıp tahmin, sınıflandırma veya metin gibi bir çıktı üretmesi; yani modelin fiilen kullanılması aşamasıdır.

Çıkarım nedir?
İçindekiler
  1. Eğitim ile çıkarım arasındaki fark
  2. Dil modellerinde çıkarım nasıl işler?
  3. Hız ve maliyeti etkileyenler
  4. Nelere dikkat etmeli?

Çıkarım (inference), eğitilmiş bir modelin gerçek kullanımda çalıştırılmasıdır. Sohbet botuna soru yazıp cevap aldığında, telefonun bir fotoğraftaki yüzü tanıdığında ya da bir sistem e-postayı spam olarak işaretlediğinde arka planda çıkarım yapılır.

Eğitim ile çıkarım arasındaki fark

Eğitim Çıkarım
Amaç Parametreleri öğrenmek Öğrenilmiş modeli kullanmak
Parametreler Sürekli güncellenir Sabit kalır
Sıklık Bir kez veya ara ara Her kullanımda
Kaynak ihtiyacı Çok yüksek, uzun süreli Tek seferde daha düşük ama sürekli

Dil modellerinde çıkarım nasıl işler?

Önce yazdığın metin tokenlere bölünür ve model tarafından işlenir. Ardından model cevabı token token üretir: Her adımda bir sonraki token için olasılık hesaplar, birini seçer ve onu da girdiye ekleyerek devam eder. Temperature gibi ayarlar bu seçimin ne kadar rastgele olacağını belirler.

Hız ve maliyeti etkileyenler

  • Model büyüklüğü: Daha çok parametre daha fazla hesaplama demektir.
  • Girdi ve çıktı uzunluğu: Uzun metinler daha çok işlem ister.
  • Donanım: GPU, TPU veya NPU gibi hızlandırıcılar çıkarımı hızlandırır.
  • Optimizasyon: Niceleme gibi yöntemler belleği ve maliyeti düşürür.

İlk cevabın gelmesi için geçen süreye gecikme süresi denir.

Nelere dikkat etmeli?

Çıkarım bulutta yapılıyorsa verin sağlayıcının sunucusuna gider; hassas verilerde bunu göz önünde bulundur. Cihaz üzerinde (uçta) çıkarım ise gizlilik sağlar ama daha küçük modellerle sınırlıdır.

Sıkça Sorulan Sorular

Çıkarım sırasında model öğrenmeye devam eder mi?

Hayır. Çıkarımda model parametreleri sabittir. Modelin sohbet içinde bir şeyi "hatırlaması", yalnızca o bilginin bağlam penceresinde bulunmasından kaynaklanır.

Yapay zekâ hizmetleri neden token başına ücret alır?

Çünkü çıkarım maliyeti büyük ölçüde işlenen ve üretilen token sayısına bağlıdır. Daha uzun girdi ve cevap, daha fazla hesaplama ve donanım süresi demektir.

İlgili terimler

Gecikme Süresi(Latency)Gecikme süresi (latency), bir sisteme istek gönderilmesiyle cevabın alınmaya başlanması ya da tamamlanması arasında geçen süredir. Yapay zekâda kullanıcı deneyimini, sesli asistanları ve gerçek zamanlı uygulamaları doğrudan etkiler.Niceleme(Quantization)Niceleme (quantization), bir yapay zekâ modelinin ağırlıklarını 16 bit yerine 8 ya da 4 bit gibi daha düşük hassasiyetle saklayarak model dosyasını küçültme yöntemidir. Böylece model daha az bellekle çalışır; karşılığında kalitede genellikle küçük bir kayıp olur.Uç Yapay Zekâ(Edge AI)Uç yapay zekâ (edge AI), yapay zekâ modellerinin veriyi uzak bir buluta göndermek yerine verinin üretildiği cihazda, yani telefon, bilgisayar, kamera, araç ya da sensör üzerinde çalıştırılmasıdır.GPU(Graphics Processing Unit)GPU (Graphics Processing Unit, grafik işlem birimi), çok sayıda basit hesabı aynı anda yapabilen işlemcidir. Başlangıçta oyun ve grafik için geliştirilmiş, paralel hesaplama gücü sayesinde yapay zekâ eğitimi ve çıkarımının temel donanımı olmuştur.TokenToken, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.TPU(Tensor Processing Unit)TPU (Tensor Processing Unit, tensör işlem birimi), Google'ın makine öğrenmesi modellerinin eğitimini ve çalıştırılmasını hızlandırmak için özel olarak tasarladığı bir işlemcidir. Ağırlıklı olarak Google'ın veri merkezlerinde ve bulut hizmetinde kullanılır.NPU(Neural Processing Unit)NPU (Neural Processing Unit, nöral işlem birimi), telefon, tablet ve bilgisayarlarda yapay zekâ işlemlerini düşük enerji tüketimiyle hızlandırmak için tasarlanmış özel işlemcidir. Yüz tanıma, ses işleme ve yerel asistan gibi görevlerde kullanılır.