İçeriğe geç
parazade
Yapay Zeka

Küçük Dil Modeli Nedir?

İngilizce: Small Language Model

Yayın: · Son güncelleme:

Küçük Dil Modeli Nedir? Kısaca

Küçük dil modeli (SLM), büyük dil modellerine göre çok daha az parametre içeren ve bu sayede telefon, dizüstü bilgisayar gibi sınırlı donanımlarda ya da düşük maliyetle çalışabilen dil modelidir. Genellikle belirli görevlere odaklanır ve gizlilik ile hız avantajı sunar.

Küçük Dil Modeli nedir?
İçindekiler
  1. Küçük dil modeli nedir?
  2. Nasıl elde edilir?
  3. Avantajları
  4. Nerelerde kullanılır?
  5. Sınırları

Küçük dil modeli nedir?

Küçük dil modeli (İngilizce small language model, kısaca SLM), büyük dil modellerinin daha hafif bir karşılığıdır. "Küçük" ifadesinin evrensel bir sınırı yoktur; parametre sayısı için kabul görmüş tek bir eşik bulunmaz ve kavram, teknoloji geliştikçe kayar. Genel olarak tek bir tüketici cihazında ya da mütevazı bir sunucuda rahatça çalışabilecek kadar küçük modeller bu grupta sayılır.

Nasıl elde edilir?

Küçük dil modelleri birkaç yolla geliştirilir:

  • Doğrudan küçük eğitim: Daha az katman ve parametreyle, ama özenle seçilmiş yüksek kaliteli verilerle eğitim.
  • Bilgi damıtma: Büyük bir "öğretmen" modelin davranışını küçük bir "öğrenci" modele aktarma.
  • Budama ve niceleme: Mevcut bir modelin gereksiz kısımlarını atma ya da sayıları daha düşük hassasiyetle saklama.

Avantajları

Avantaj Açıklama
Yerel çalışma İnternet bağlantısı olmadan cihazda çalışabilir
Gizlilik Veriler cihazdan çıkmadan işlenebilir
Hız Daha düşük gecikmeyle yanıt verir
Maliyet Daha az enerji ve donanım gerektirir
Özelleştirme Belirli bir göreve ince ayar yapmak daha kolaydır

Nerelerde kullanılır?

  • Telefonlarda metin özetleme ve yazım yardımı
  • Şirket içi belgelerde soru yanıtlama
  • Sınıflandırma, bilgi çıkarma gibi dar kapsamlı görevler
  • İnternet bağlantısının sınırlı olduğu ortamlar

Sınırları

Küçük modeller genellikle daha az genel bilgiye sahiptir ve karmaşık akıl yürütme gerektiren görevlerde büyük modellerin gerisinde kalabilir. Halüsinasyon riski de vardır. Bu yüzden görevin zorluğuna göre model boyutu seçmek ve sonuçları test etmek önemlidir.

Sıkça Sorulan Sorular

Küçük dil modeli kaç parametreli olur?

Kabul görmüş tek bir sınır yoktur. Terim görelidir; genellikle tek bir tüketici cihazında ya da küçük bir sunucuda çalışabilecek boyuttaki modeller için kullanılır.

Küçük dil modeli ne zaman tercih edilmeli?

Görev dar kapsamlıysa, veri gizliliği önemliyse ya da düşük gecikme ve maliyet gerekiyorsa iyi bir seçenektir. Karmaşık ve geniş bilgi gerektiren görevlerde daha büyük modeller daha başarılı olabilir.

İlgili terimler

Büyük Dil Modeli(Large Language Model)Büyük dil modeli (LLM), çok büyük miktarda metinle eğitilen ve bir metnin devamında hangi parçanın geleceğini tahmin ederek yazı üreten yapay zekâ modelidir. Sohbet asistanları, kod yardımcıları ve özetleme araçlarının temelinde bu modeller bulunur.Dil Modeli(Language Model)Dil modeli, bir dizideki kelimelerin ya da token'ların olasılığını tahmin eden yapay zekâ modelidir. En yaygın biçimiyle, verilen metinden sonra hangi kelimenin gelme ihtimalinin yüksek olduğunu hesaplar. Otomatik tamamlama, çeviri ve sohbet asistanlarının temelinde dil modelleri bulunur.Bilgi Damıtma(Knowledge Distillation)Bilgi damıtma (knowledge distillation), büyük ve güçlü bir 'öğretmen' modelin çıktılarını kullanarak daha küçük, hızlı ve ucuz bir 'öğrenci' modeli eğitme tekniğidir. Amaç, performansın büyük kısmını korurken maliyeti düşürmektir.Yerel LLM(Local LLM)Yerel LLM, internetteki bir servis yerine kişinin kendi bilgisayarında, sunucusunda ya da cihazında çalıştırılan büyük dil modelidir. Veriler cihazdan çıkmadığı için gizlilik avantajı sağlar ama yeterli donanım gerektirir.Niceleme(Quantization)Niceleme (quantization), bir yapay zekâ modelinin ağırlıklarını 16 bit yerine 8 ya da 4 bit gibi daha düşük hassasiyetle saklayarak model dosyasını küçültme yöntemidir. Böylece model daha az bellekle çalışır; karşılığında kalitede genellikle küçük bir kayıp olur.Harf Çevirisi(Transliteration)Harf çevirisi (transliterasyon), bir yazı sistemindeki metnin, anlamı çevrilmeden başka bir yazı sisteminin harfleriyle yazılmasıdır. Örneğin Kiril alfabesiyle yazılmış bir ismin Latin harflerine aktarılması harf çevirisidir.