İçeriğe geç
parazade
Yapay Zeka

Token Nedir?

Yayın: · Son güncelleme:

Token Nedir? Kısaca

Token, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.

Token nedir?
İçindekiler
  1. Token nedir?
  2. Token neden önemlidir?
  3. Türkçede token sayısı
  4. Token ile kelime arasındaki fark

Token nedir?

Dil modelleri metni doğrudan harf harf ya da kelime kelime okumaz. Önce "tokenizer" adı verilen bir araç metni tokenlara böler. Sık kullanılan kelimeler tek bir token olabilirken, daha az görülen kelimeler birkaç parçaya ayrılır. Boşluklar, noktalama işaretleri ve sayılar da token olarak işlenir.

Örneğin bir model "Merhaba dünya!" ifadesini "Merhaba", " dünya" ve "!" gibi parçalara ayırabilir. Bölmenin tam olarak nasıl yapılacağı modele göre değişir; aynı cümle farklı modellerde farklı sayıda token tutabilir.

Token neden önemlidir?

  • Hız ölçüsü: Yerel modellerin hızı çoğunlukla "saniyede üretilen token" ile ifade edilir.
  • Bağlam sınırı: Bir modelin aynı anda dikkate alabildiği metin miktarı, yani bağlam penceresi, token cinsinden belirtilir.
  • Ücretlendirme: Bulut tabanlı yapay zekâ hizmetlerinin çoğu, gönderilen ve alınan token sayısına göre ücret hesaplar.

Türkçede token sayısı

Tokenizer'ların çoğu ağırlıklı olarak İngilizce metinlerle hazırlandığı için Türkçe gibi eklemeli dillerde bir kelime daha fazla parçaya bölünebilir. Bu nedenle aynı anlamı taşıyan bir Türkçe metin, İngilizce karşılığına göre daha fazla token tutabilir. Bu durum hem bağlam penceresinin daha çabuk dolmasına hem de token başına ücretlendirilen hizmetlerde maliyetin artmasına yol açabilir.

Token ile kelime arasındaki fark

Token sayısı kelime sayısıyla aynı değildir. Kabaca bir fikir vermek için bazı hizmetler İngilizce metinde ortalama bir kelimenin bir tokendan biraz fazla tuttuğunu belirtir; ancak bu oran dile ve modele göre değiştiği için kesin bir hesap yerine yalnızca tahmin olarak kullanılmalıdır.

Sıkça Sorulan Sorular

Bir token kaç harftir?

Sabit bir uzunluğu yoktur. Token bir harf, bir hece, bir kelime ya da noktalama işareti olabilir; bölme şekli kullanılan modelin tokenizer'ına bağlıdır.

Saniyede token ne anlama gelir?

Bir modelin bir saniyede ürettiği metin parçası sayısıdır. Yerel modellerde hızı karşılaştırmak için kullanılır; değer ne kadar yüksekse cevap o kadar hızlı akar.

İlgili terimler

Bağlam Penceresi(Context Window)Bağlam penceresi (context window), bir dil modelinin tek seferde dikkate alabildiği en fazla metin miktarıdır ve token cinsinden ölçülür. Konuşma geçmişi, yüklenen belgeler ve modelin cevabı bu sınırın içine sığmak zorundadır.Büyük Dil Modeli(Large Language Model)Büyük dil modeli (LLM), çok büyük miktarda metinle eğitilen ve bir metnin devamında hangi parçanın geleceğini tahmin ederek yazı üreten yapay zekâ modelidir. Sohbet asistanları, kod yardımcıları ve özetleme araçlarının temelinde bu modeller bulunur.EmbeddingEmbedding, bir kelimenin, cümlenin, belgenin ya da görselin anlamını sayılardan oluşan bir vektörle temsil etme yöntemidir. Anlamca birbirine yakın içeriklerin vektörleri de birbirine yakın olduğu için anlamsal arama ve RAG sistemlerinin temelini oluşturur.TokenizerTokenizer, bir metni dil modelinin işleyebileceği token adlı küçük birimlere (kelime, kelime parçası ya da karakter) bölen ve bunları sayısal kimliklere çeviren bileşendir. Her modelin kendine ait bir tokenizer'ı vardır.Görüntü Tanıma(Image Recognition)Görüntü tanıma (image recognition), bir yapay zekâ sisteminin fotoğraf ya da videodaki nesneleri, yüzleri, hayvanları, yazıları veya sahneleri tespit edip tanımlamasıdır. Bilgisayarlı görünün temel görevlerinden biridir.Yapay Zekâ Okuryazarlığı(AI Literacy)Yapay zekâ okuryazarlığı (AI literacy), yapay zekânın temel olarak nasıl çalıştığını anlama, araçları amaca uygun ve güvenli biçimde kullanma, çıktılarını eleştirel değerlendirme ve etik riskleri fark etme becerilerinin bütünüdür.

İlgili yazılar

Yapay Zeka ile Kazanç

Kendi Bilgisayarında Ücretsiz Yapay Zekâ Sistemi Kur: Ekran Kartı, İşlemci ve RAM ile Adım Adım

Kendi bilgisayarında ücretsiz ve limitsiz bir yapay zekâ sistemi kurmak mümkün: Ollama ya da LM Studio ile dil modeli, Continue ile kod asistanı, ComfyUI ya da Forge ile görsel üretim. Belirleyici olan ekran kartının belleğidir (VRAM); 8 GB'lık kartta 7-8B modeller rahat çalışır, kart yoksa işlemci ve RAM ile daha yavaş çalışır.

· 30 dk okuma