İçeriğe geç
parazade
Yapay Zeka

Kelime Dağarcığı Ne Demek?

İngilizce: Vocabulary

Yayın: · Son güncelleme:

Kelime Dağarcığı Ne Demek? Kısaca

Yapay zekâda kelime dağarcığı (vocabulary), bir dil modelinin veya tokenizer'ın tanıdığı tüm token'ların, yani kelime, alt kelime ve karakter parçalarının, her birine benzersiz bir numara atanmış sabit listesidir.

Kelime Dağarcığı nedir?
İçindekiler
  1. Kelime dağarcığı ne demek?
  2. Büyüklüğü neden önemli?
  3. Türkçe açısından

Kelime dağarcığı, günlük dilde bir kişinin bildiği kelimelerin toplamıdır. Yapay zekâda ise bir dil modelinin tanıyabildiği tüm token'ların listesini ifade eder. İngilizcede "vocabulary" ya da kısaca "vocab" olarak geçer.

Kelime dağarcığı ne demek?

Bir dil modeli metni doğrudan harflerle değil, token adı verilen parçalarla işler. Her token'ın kelime dağarcığında bir sıra numarası vardır. Örneğin varsayımsal bir sözlükte "▁yapay" 1520, "▁zek" 8731, "â" 412 numaralı olabilir. Model, metni bu numaralar dizisine çevirir ve her numarayı bir embedding vektörüyle eşleştirir. Çıktı üretirken de her adımda, dağarcıktaki tüm token'lar arasından bir sonrakini seçer.

Dağarcık; tam kelimeler, kelime parçaları, tek karakterler, noktalama işaretleri ve "metin başı" ya da "metin sonu" gibi özel token'lardan oluşur. Bu liste, tokenizer eğitimi sırasında BPE veya WordPiece gibi algoritmalarla oluşturulur ve sonra sabit kalır.

Büyüklüğü neden önemli?

Küçük dağarcık Büyük dağarcık
Metin uzunluğu Daha çok token Daha az token
Model boyutu Embedding katmanı küçük Embedding katmanı büyük
Nadir kelimeler Çok parçaya bölünür Daha sık tek parça

Doğru büyüklük, verimlilik ile bellek kullanımı arasında bir dengedir. Modern dil modellerinin dağarcıkları genellikle onbinlerden yüzbinlere kadar token içerir.

Türkçe açısından

Dağarcık çoğunlukla İngilizce ağırlıklı verilerle oluşturulduysa Türkçe kelimeler daha fazla parçaya bölünür. Bu, aynı metnin daha fazla token tutması ve bağlam penceresinin daha hızlı dolması anlamına gelir. Çok dilli dengeli verilerle eğitilmiş tokenizer'lar bu sorunu azaltır.

Sıkça Sorulan Sorular

Kelime dağarcığı ile tokenizer arasındaki fark nedir?

Tokenizer, metni token'lara bölen araçtır; kelime dağarcığı ise bu aracın kullanabildiği token'ların listesidir. Tokenizer, metni bölerken yalnızca dağarcıktaki parçaları kullanır.

Dil modelinin kelime dağarcığı sonradan değiştirilebilir mi?

Yeni token eklemek mümkündür, ancak modelin bu token'ları anlamlı kullanabilmesi için ek eğitim gerekir. Bu nedenle dağarcık genellikle modelin eğitiminden önce belirlenir ve sabit tutulur.

İlgili terimler

TokenizerTokenizer, bir metni dil modelinin işleyebileceği token adlı küçük birimlere (kelime, kelime parçası ya da karakter) bölen ve bunları sayısal kimliklere çeviren bileşendir. Her modelin kendine ait bir tokenizer'ı vardır.TokenToken, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.Byte Pair EncodingByte Pair Encoding (BPE), metindeki en sık yan yana gelen karakter ya da parça çiftlerini adım adım birleştirerek bir alt kelime sözlüğü oluşturan ve dil modellerinde tokenizasyon için yaygın kullanılan algoritmadır.SentencePieceSentencePiece, metni önceden kelimelere ayırmadan ham hâliyle işleyen, boşluğu da özel bir sembolle token olarak ele alan ve BPE ya da unigram yöntemiyle alt kelime sözlüğü oluşturan dilden bağımsız bir tokenizasyon aracıdır.Dil Modeli(Language Model)Dil modeli, bir dizideki kelimelerin ya da token'ların olasılığını tahmin eden yapay zekâ modelidir. En yaygın biçimiyle, verilen metinden sonra hangi kelimenin gelme ihtimalinin yüksek olduğunu hesaplar. Otomatik tamamlama, çeviri ve sohbet asistanlarının temelinde dil modelleri bulunur.EmbeddingEmbedding, bir kelimenin, cümlenin, belgenin ya da görselin anlamını sayılardan oluşan bir vektörle temsil etme yöntemidir. Anlamca birbirine yakın içeriklerin vektörleri de birbirine yakın olduğu için anlamsal arama ve RAG sistemlerinin temelini oluşturur.