Tokenizer Nedir?
Yayın: · Son güncelleme:
Tokenizer Nedir? Kısaca
Tokenizer, bir metni dil modelinin işleyebileceği token adlı küçük birimlere (kelime, kelime parçası ya da karakter) bölen ve bunları sayısal kimliklere çeviren bileşendir. Her modelin kendine ait bir tokenizer'ı vardır.
Tokenizer, yapay zekâ modelinin "okuma" aşamasıdır. Dil modelleri harfleri ya da kelimeleri doğrudan işlemez; metin önce token adı verilen parçalara ayrılır, her parça bir sayıya karşılık gelir. Model bu sayılarla çalışır, çıktısı da yine tokenizer ile metne geri çevrilir.
Nasıl çalışır?
Günümüz modellerinin çoğu "alt kelime" (subword) yöntemleri kullanır. Byte Pair Encoding (BPE) ve SentencePiece bu yöntemlerin bilinen örnekleridir. Mantık şudur:
- Sık geçen kelimeler tek token olarak saklanır.
- Daha nadir kelimeler, anlamlı parçalara bölünür.
- Hiç görülmemiş kelimeler bile küçük parçaların birleşimiyle temsil edilebilir.
Tokenizer'ın tanıdığı tüm parçaların listesine "sözcük dağarcığı" (vocabulary) denir.
Örnek
Varsayımsal bir tokenizer "yatırımcılarımızdan" kelimesini "yatırım", "cı", "lar", "ımız", "dan" gibi parçalara bölebilir. Gerçek bölünme modelden modele değişir; aynı cümle iki farklı modelde farklı sayıda token tutabilir.
Türkçe için neden önemli?
Türkçe gibi eklemeli dillerde bir kelime çok sayıda ek alabilir. Tokenizer ağırlıklı olarak İngilizce verilerle oluşturulduysa Türkçe metinler daha fazla token'a bölünür. Bunun pratik sonuçları:
- Aynı içerik için API maliyeti artabilir.
- Bağlam penceresine daha az metin sığar.
- Yanıt üretimi biraz daha uzun sürebilir.
Nelere dikkat etmeli?
Maliyet ve sınır hesaplarında kelime sayısına değil token sayısına bak. Sağlayıcıların çoğu metnin kaç token tuttuğunu gösteren sayaç araçları sunar. Bir modelin tokenizer'ıyla hazırlanmış veriler, başka bir modelde doğrudan kullanılamaz.
Sıkça Sorulan Sorular
Bir Türkçe kelime kaç token eder?
Sabit bir oran yoktur. Kısa ve yaygın kelimeler tek token olabilirken uzun, çok ekli kelimeler birkaç token'a bölünür. Kesin sayı için modelin kendi token sayacını kullanmak gerekir.
Tokenizer değiştirilebilir mi?
Model belirli bir tokenizer ile eğitildiği için onu sonradan değiştirmek kolay değildir; genellikle ek eğitim gerektirir. Kullanıcı olarak modelin tokenizer'ını olduğu gibi kullanırsın.