Word2Vec Nedir?
Yayın: · Son güncelleme:
Word2Vec Nedir? Kısaca
Word2Vec, kelimeleri metindeki bağlamlarına bakarak sayısal vektörlere dönüştüren ve anlamca benzer kelimeleri vektör uzayında birbirine yakın yerleştiren bir yöntemdir. 2013'te Google araştırmacıları tarafından tanıtıldı ve kelime gömmelerini yaygınlaştırdı.
Word2Vec nedir?
Word2Vec, Tomas Mikolov ve arkadaşlarının 2013'te Google'da geliştirdiği bir kelime temsil yöntemidir. Her kelimeyi birkaç yüz sayıdan oluşan bir vektörle, yani bir embedding ile ifade eder. Temel varsayımı dilbilimdeki dağılımsal hipotezdir: Benzer bağlamlarda geçen kelimelerin anlamları da benzerdir. Örneğin "kahve" ve "çay" sıkça benzer kelimelerle birlikte geçtiği için vektörleri birbirine yakın olur.
Nasıl çalışır?
Word2Vec, sığ bir sinir ağını basit bir tahmin göreviyle eğitir. İki ana yaklaşım vardır:
- CBOW (Continuous Bag of Words): Çevredeki kelimelerden ortadaki kelimeyi tahmin eder.
- Skip-gram: Ortadaki kelimeden çevresindeki kelimeleri tahmin eder; nadir kelimelerde genellikle daha iyi sonuç verir.
Eğitimi hızlandırmak için negatif örnekleme gibi teknikler kullanılır. Eğitim bittiğinde tahmin görevinin kendisi değil, ağın öğrendiği ağırlıklar, yani kelime vektörleri kullanılır.
Vektör aritmetiği
Word2Vec'in ünlü özelliği, bazı anlam ilişkilerinin vektör farkları olarak yakalanmasıdır. Sık verilen örnekte "kral − erkek + kadın" işleminin sonucu "kraliçe" vektörüne yakın çıkar. Bu ilişkiler her zaman kusursuz değildir ama kelime vektörlerinin anlamlı bir yapı taşıdığını gösterir.
Nerelerde kullanılır?
- Metin sınıflandırma ve duygu analizi için özellik olarak
- Benzer kelime ve eş anlamlı bulma
- Öneri sistemlerinde ürünleri ya da öğeleri vektörleştirme
Sınırları
Word2Vec her kelimeye tek bir sabit vektör verir; "yüz" kelimesinin sayı ve organ anlamlarını ayırt edemez. Eğitimde görmediği kelimeler için vektör üretemez. Ayrıca eğitim metnindeki toplumsal önyargıları vektörlere taşıyabilir. Bu sınırlar, bağlama göre değişen temsiller üreten BERT gibi modellerin gelişmesine yol açtı.
Sıkça Sorulan Sorular
Word2Vec ile BERT arasındaki fark nedir?
Word2Vec her kelime için bağlamdan bağımsız tek bir vektör üretir. BERT ise aynı kelimeye içinde geçtiği cümleye göre farklı vektörler verir; bu yüzden çok anlamlı kelimeleri daha iyi ayırt eder.
CBOW mu skip-gram mı tercih edilmeli?
CBOW genellikle daha hızlı eğitilir ve sık kelimelerde iyi çalışır. Skip-gram ise daha yavaş olsa da nadir kelimelerde ve küçük veri setlerinde çoğu zaman daha iyi sonuç verir.