İçeriğe geç
parazade
Yapay Zeka

GGUF Nedir?

Yayın: · Son güncelleme:

GGUF Nedir? Kısaca

GGUF, büyük dil modellerinin ağırlıklarını, tokenizer bilgisini ve diğer meta verilerini tek bir dosyada saklayan model dosya formatıdır. llama.cpp projesi tarafından 2023'te eski GGML formatının yerine geliştirilmiştir ve yerel model çalıştırmada yaygındır.

GGUF nedir?
İçindekiler
  1. Ne içerir?
  2. Niceleme türleri
  3. Örnek
  4. Nelere dikkat etmeli?

GGUF, bir yapay zekâ modelini kendi bilgisayarında çalıştırmak isteyenlerin sık karşılaştığı bir dosya biçimidir. llama.cpp ve onun temelindeki ggml kütüphanesinin ekosisteminde geliştirildi ve Ağustos 2023'te, artık desteklenmeyen eski GGML formatının yerini aldı.

Ne içerir?

Bir GGUF dosyası, modeli çalıştırmak için gereken her şeyi tek pakette toplar:

  • Modelin ağırlıkları (çoğu zaman sıkıştırılmış hâlde)
  • Model mimarisi bilgisi
  • Tokenizer bilgisi
  • Bağlam uzunluğu gibi ayarlar ve diğer meta veriler

Meta veriler anahtar-değer biçiminde saklandığı için yeni alanlar eski dosyaları bozmadan eklenebilir. Dosya yapısı belleğe hızlı yüklenmeye uygun tasarlanmıştır.

Niceleme türleri

GGUF dosyaları genellikle niceleme uygulanmış hâlde paylaşılır. Dosya adlarında "Q4_K_M", "Q5_K_M", "Q8_0" gibi ekler görürsün:

Ek Anlamı
Q4 civarı Daha küçük dosya, daha az bellek, biraz daha düşük kalite
Q8 civarı Daha büyük dosya, kaliteye daha yakın
F16 / BF16 Sıkıştırılmamaya yakın, en yüksek bellek ihtiyacı

Örnek

Varsayımsal olarak 8 GB ekran kartı belleğin varsa, aynı modelin Q8 sürümü sığmayabilirken Q4 sürümü sığabilir. Bu durumda Q4 sürümünü indirip llama.cpp tabanlı bir araçla çalıştırabilirsin.

Nelere dikkat etmeli?

  • Model dosyalarını güvenilir kaynaklardan ve bilinen yayıncılardan indir.
  • Modelin lisansını kontrol et; bazı modellerin ticari kullanım kısıtlamaları vardır.
  • Düşük bitli sürümler özellikle matematik ve kod gibi hassas görevlerde kaliteyi belirgin düşürebilir.
  • Dosya boyutu tek başına bellek ihtiyacını göstermez; bağlam uzunluğu arttıkça ek bellek gerekir.

Sıkça Sorulan Sorular

GGUF dosyasını hangi programlarla açabilirim?

GGUF, llama.cpp ve onu temel alan birçok masaüstü ve komut satırı aracıyla çalıştırılabilir. Kullanacağın aracın ilgili model mimarisini desteklediğini kontrol etmek gerekir.

Hangi GGUF niceleme seviyesini seçmeliyim?

Belleğine sığan en yüksek kaliteli sürüm genellikle iyi bir başlangıçtır. Orta seviye 4-5 bit sürümler, birçok kullanıcı için boyut ve kalite arasında makul bir denge sunar.

İlgili terimler

Niceleme(Quantization)Niceleme (quantization), bir yapay zekâ modelinin ağırlıklarını 16 bit yerine 8 ya da 4 bit gibi daha düşük hassasiyetle saklayarak model dosyasını küçültme yöntemidir. Böylece model daha az bellekle çalışır; karşılığında kalitede genellikle küçük bir kayıp olur.VRAM(Video RAM)VRAM (Video RAM), ekran kartının üzerinde bulunan ve grafik işlemcisinin doğrudan kullandığı bellektir. Yerel yapay zekâda bir modelin ekran kartında çalışıp çalışamayacağını ve ne kadar hızlı çalışacağını büyük ölçüde VRAM miktarı belirler.Açık Ağırlıklı Model(Open-weight Model)Açık ağırlıklı model, eğitilmiş parametreleri (ağırlıkları) herkesin indirip kendi donanımında çalıştırabileceği ve çoğu zaman uyarlayabileceği şekilde yayımlanan yapay zekâ modelidir.TokenizerTokenizer, bir metni dil modelinin işleyebileceği token adlı küçük birimlere (kelime, kelime parçası ya da karakter) bölen ve bunları sayısal kimliklere çeviren bileşendir. Her modelin kendine ait bir tokenizer'ı vardır.Görüntü Tanıma(Image Recognition)Görüntü tanıma (image recognition), bir yapay zekâ sisteminin fotoğraf ya da videodaki nesneleri, yüzleri, hayvanları, yazıları veya sahneleri tespit edip tanımlamasıdır. Bilgisayarlı görünün temel görevlerinden biridir.Yapay Zekâ Okuryazarlığı(AI Literacy)Yapay zekâ okuryazarlığı (AI literacy), yapay zekânın temel olarak nasıl çalıştığını anlama, araçları amaca uygun ve güvenli biçimde kullanma, çıktılarını eleştirel değerlendirme ve etik riskleri fark etme becerilerinin bütünüdür.

İlgili yazılar

Yapay Zeka ile Kazanç

Kendi Bilgisayarında Ücretsiz Yapay Zekâ Sistemi Kur: Ekran Kartı, İşlemci ve RAM ile Adım Adım

Kendi bilgisayarında ücretsiz ve limitsiz bir yapay zekâ sistemi kurmak mümkün: Ollama ya da LM Studio ile dil modeli, Continue ile kod asistanı, ComfyUI ya da Forge ile görsel üretim. Belirleyici olan ekran kartının belleğidir (VRAM); 8 GB'lık kartta 7-8B modeller rahat çalışır, kart yoksa işlemci ve RAM ile daha yavaş çalışır.

· 30 dk okuma