WordPiece Nedir?
Yayın: · Son güncelleme:
WordPiece Nedir? Kısaca
WordPiece, metni alt kelime parçalarına bölen ve sözlüğe eklenecek birleştirmeleri, eğitim verisinin olasılığını en çok artıran çiftlere göre seçen tokenizasyon algoritmasıdır; BERT gibi modellerde kullanılır.
WordPiece, kelimeleri daha küçük ve sık kullanılan parçalara ayıran bir alt kelime tokenizasyon yöntemidir. Google tarafından ilk olarak sesli arama sistemleri için geliştirildi ve daha sonra BERT ile birlikte yaygın olarak tanındı.
WordPiece nedir?
Bir dil modelinin sınırlı büyüklükte bir sözlüğü vardır. WordPiece, sık geçen kelimeleri tek parça tutarken nadir kelimeleri anlamlı alt parçalara böler. Örneğin İngilizcede "unhappiness" kelimesi "un", "##happi", "##ness" gibi parçalara ayrılabilir.
Buradaki "##" işareti, o parçanın bir kelimenin başında değil, devamında yer aldığını gösterir. Bu sayede model, parçaları birleştirerek orijinal kelimeyi yeniden oluşturabilir.
Nasıl çalışır?
Eğitim süreci BPE'ye benzer:
- Sözlük, tek tek karakterlerle başlar.
- Olası birleştirmeler değerlendirilir.
- Sözlüğe eklenecek çift seçilir ve süreç istenen sözlük büyüklüğüne kadar devam eder.
Temel fark seçim ölçütündedir. Byte Pair Encoding en sık birlikte geçen çifti seçer. WordPiece ise bir çiftin birlikte geçme sıklığını, parçaların tek başına geçme sıklıklarıyla karşılaştırır; yani tek başına zaten çok yaygın olan parçaları birleştirmeye daha az öncelik verir. Sonuçta veriyi en iyi açıklayan birleştirmeler seçilmiş olur.
Tokenizasyon sırasında ise kelime, sözlükteki en uzun eşleşen parçadan başlanarak soldan sağa bölünür.
Nelere dikkat etmeli?
WordPiece genellikle metnin önce boşluklara göre kelimelere ayrıldığını varsayar. Bu, boşluk kullanmayan diller için ek ön işleme gerektirir. Ayrıca sözlük eğitim verisindeki dillere göre oluştuğundan, az temsil edilen dillerde kelimeler daha fazla parçaya bölünür. Çok dilli modellerde Türkçe kelimeler bu nedenle sıklıkla birkaç parçaya ayrılır.
Sıkça Sorulan Sorular
WordPiece'teki ## işareti ne anlama gelir?
## işareti, o token'ın bir kelimenin başlangıcı olmadığını, önceki parçanın devamı olduğunu gösterir. Böylece parçalar birleştirilerek orijinal kelime yeniden elde edilebilir.
WordPiece hangi modellerde kullanılır?
En bilinen kullanımı BERT ve DistilBERT gibi BERT ailesindeki modellerdir. Farklı modeller BPE veya SentencePiece gibi başka tokenizasyon yöntemlerini tercih edebilir.