İçeriğe geç
parazade
Yapay Zeka

Yerel LLM Nedir?

İngilizce: Local LLM

Yayın: · Son güncelleme:

Yerel LLM Nedir? Kısaca

Yerel LLM, internetteki bir servis yerine kişinin kendi bilgisayarında, sunucusunda ya da cihazında çalıştırılan büyük dil modelidir. Veriler cihazdan çıkmadığı için gizlilik avantajı sağlar ama yeterli donanım gerektirir.

Yerel LLM nedir?
İçindekiler
  1. Yerel LLM nedir?
  2. Neden tercih edilir?
  3. Donanım ihtiyacı
  4. Nelere dikkat etmeli?

Yerel LLM, genellikle ağırlıkları indirilebilir olan açık ağırlıklı modellerle mümkün olur. Model dosyası cihaza indirilir ve bir çıkarım programı aracılığıyla çalıştırılır.

Yerel LLM nedir?

Bulut tabanlı sohbet servislerinde yazdığın metin sağlayıcının sunucusuna gider, orada işlenir ve cevap geri döner. Yerel LLM'de ise bütün hesaplama kendi donanımında yapılır. İnternet bağlantısı olmadan da çalışabilir.

Neden tercih edilir?

  • Gizlilik: Hassas belgeler cihazdan çıkmaz.
  • Kontrol: Model sürümü, ayarları ve davranışı senin kontrolündedir.
  • Çevrimdışı kullanım: Bağlantı gerektirmez.
  • Özelleştirme: İnce ayar ya da adaptörlerle kendi ihtiyacına göre uyarlanabilir.

Donanım ihtiyacı

En belirleyici etken bellektir. Modelin ağırlıkları ekran kartının VRAM'ine ya da sistem belleğine sığmalıdır. Kabaca, 16 bitlik bir model her milyar parametre için yaklaşık 2 GB ister. Bu yüzden yerel kullanımda modeller çoğunlukla 4 ya da 8 bite nicelenir; GGUF, GPTQ ve AWQ bu amaçla yaygın biçimlerdir. Ayrıca bağlam uzadıkça ek bellek gerekir.

Nelere dikkat etmeli?

Yerel olarak çalışabilen modeller, büyük bulut modellerine göre çoğu zaman daha küçüktür ve bazı görevlerde daha zayıf kalabilir. Model dosyalarını yalnızca güvenilir kaynaklardan indir; güvenli dosya biçimlerini tercih et. Lisans koşullarını, özellikle ticari kullanım açısından, kontrol etmeyi unutma.

Sıkça Sorulan Sorular

Yerel LLM için internet gerekir mi?

Model dosyasını indirmek için gerekir. İndirildikten sonra model tamamen çevrimdışı çalışabilir.

Yerel LLM bulut modelleri kadar güçlü mü?

Genellikle değildir; çünkü kişisel donanıma sığması için daha küçük ya da nicelenmiş modeller kullanılır. Ancak birçok günlük görev için yeterli olabilir.

İlgili terimler

Açık Ağırlıklı Model(Open-weight Model)Açık ağırlıklı model, eğitilmiş parametreleri (ağırlıkları) herkesin indirip kendi donanımında çalıştırabileceği ve çoğu zaman uyarlayabileceği şekilde yayımlanan yapay zekâ modelidir.Niceleme(Quantization)Niceleme (quantization), bir yapay zekâ modelinin ağırlıklarını 16 bit yerine 8 ya da 4 bit gibi daha düşük hassasiyetle saklayarak model dosyasını küçültme yöntemidir. Böylece model daha az bellekle çalışır; karşılığında kalitede genellikle küçük bir kayıp olur.GGUFGGUF, büyük dil modellerinin ağırlıklarını, tokenizer bilgisini ve diğer meta verilerini tek bir dosyada saklayan model dosya formatıdır. llama.cpp projesi tarafından 2023'te eski GGML formatının yerine geliştirilmiştir ve yerel model çalıştırmada yaygındır.VRAM(Video RAM)VRAM (Video RAM), ekran kartının üzerinde bulunan ve grafik işlemcisinin doğrudan kullandığı bellektir. Yerel yapay zekâda bir modelin ekran kartında çalışıp çalışamayacağını ve ne kadar hızlı çalışacağını büyük ölçüde VRAM miktarı belirler.İnce Ayar(Fine-tuning)İnce ayar (fine-tuning), önceden eğitilmiş bir yapay zekâ modelini daha küçük ve göreve özel bir veri kümesiyle yeniden eğiterek belirli bir işe, üsluba veya alana uyarlama işlemidir.AWQ(Activation-aware Weight Quantization)AWQ (Activation-aware Weight Quantization), büyük dil modellerinin ağırlıklarını 4 bit gibi düşük hassasiyete sıkıştırırken, aktivasyon değerlerine bakarak en önemli ağırlıkları tespit edip ölçekleme yoluyla koruyan bir eğitim sonrası niceleme yöntemidir.