İçeriğe geç
parazade
Yapay Zeka

ELMo Ne Demek?

Yayın: · Son güncelleme:

ELMo Ne Demek? Kısaca

ELMo (Embeddings from Language Models), çift yönlü LSTM tabanlı bir dil modelinden elde edilen ve bir kelimeye içinde geçtiği cümleye göre farklı vektör temsili veren, 2018'de tanıtılmış bağlamsal kelime gömme yöntemidir.

ELMo nedir?
İçindekiler
  1. ELMo ne demek?
  2. Nasıl çalışır?
  3. Önemi ve bugünkü yeri

ELMo, "Embeddings from Language Models" ifadesinin kısaltmasıdır. 2018'de tanıtılan bu yöntem, kelimelerin anlamının bağlama göre değiştiği fikrini kelime vektörlerine taşıyan ilk etkili yaklaşımlardan biridir.

ELMo ne demek?

Word2Vec ve GloVe gibi önceki yöntemler her kelimeye tek ve sabit bir vektör verir. Oysa "yüz" kelimesi "yüz yüze görüştük" ile "yüz lira ödedim" cümlelerinde bambaşka anlamlar taşır. ELMo, bir kelimenin vektörünü cümlenin tamamına bakarak üretir; böylece aynı kelime farklı bağlamlarda farklı temsillere sahip olur.

Nasıl çalışır?

  • Karakter tabanlı girdi: Kelimeler önce karakterleri üzerinden işlenir. Bu, sözlükte olmayan ya da yazım hatalı kelimelerin de temsil edilebilmesini sağlar.
  • Çift yönlü dil modeli: İki katmanlı LSTM ağları cümleyi hem soldan sağa hem sağdan sola okuyarak bir sonraki ve bir önceki kelimeyi tahmin etmeyi öğrenir.
  • Katmanların birleşimi: Bir kelimenin nihai ELMo vektörü, ağın farklı katmanlarındaki temsillerin ağırlıklı toplamıdır. Alt katmanlar daha çok dil bilgisi, üst katmanlar daha çok anlam bilgisi taşır.

Bu vektörler daha sonra soru yanıtlama, duygu analizi veya varlık tanıma gibi görevler için kurulan modellere ek özellik olarak verilir.

Önemi ve bugünkü yeri

ELMo, yayımlandığında birçok doğal dil işleme görevinde dönemin en iyi sonuçlarını iyileştirdi ve "önceden eğitilmiş dil modelinden bağlamsal temsil al" fikrini yaygınlaştırdı. Kısa süre sonra transformer tabanlı BERT ve benzeri modeller bu fikri daha ileri taşıdı. Bugün ELMo yeni projelerde nadiren kullanılsa da dil modellerinin tarihindeki önemli bir basamak olarak anılır.

Sıkça Sorulan Sorular

ELMo ile BERT arasındaki fark nedir?

İkisi de bağlamsal kelime temsilleri üretir. ELMo çift yönlü LSTM'lere dayanır ve iki yönü ayrı ayrı modeller; BERT ise transformer mimarisi kullanır ve maskeli dil modellemesiyle iki yönü aynı anda öğrenir.

ELMo adı nereden geliyor?

Teknik olarak 'Embeddings from Language Models' ifadesinin kısaltmasıdır. Aynı dönemde çıkan BERT gibi modellerle birlikte, bir çocuk programının karakterlerine gönderme yapan isimlendirme geleneğinin bir parçası olarak da bilinir.

İlgili terimler

Word2VecWord2Vec, kelimeleri metindeki bağlamlarına bakarak sayısal vektörlere dönüştüren ve anlamca benzer kelimeleri vektör uzayında birbirine yakın yerleştiren bir yöntemdir. 2013'te Google araştırmacıları tarafından tanıtıldı ve kelime gömmelerini yaygınlaştırdı.BERTBERT (Bidirectional Encoder Representations from Transformers), Google araştırmacılarının 2018'de tanıttığı, metni iki yönden okuyarak her kelimenin bağlamsal anlamını öğrenen Transformer kodlayıcı tabanlı bir dil modelidir. Sınıflandırma ve arama gibi anlama görevlerinde yaygın kullanılır.LSTM(Long Short-Term Memory)LSTM (uzun kısa süreli bellek), tekrarlayan sinir ağlarının uzun dizilerde bilgiyi unutma sorununu, neyin saklanıp neyin unutulacağına karar veren kapılar ve ayrı bir hücre durumu ile hafifleten sinir ağı yapısıdır.EmbeddingEmbedding, bir kelimenin, cümlenin, belgenin ya da görselin anlamını sayılardan oluşan bir vektörle temsil etme yöntemidir. Anlamca birbirine yakın içeriklerin vektörleri de birbirine yakın olduğu için anlamsal arama ve RAG sistemlerinin temelini oluşturur.Vektör(Vector)Vektör, matematikte hem büyüklüğü hem yönü olan bir nicelik; yapay zekâda ise sıralı bir sayı listesidir. Metin, görsel ya da kullanıcı gibi nesneler vektörlerle sayısal olarak temsil edilir ve karşılaştırılır.Dil Modeli(Language Model)Dil modeli, bir dizideki kelimelerin ya da token'ların olasılığını tahmin eden yapay zekâ modelidir. En yaygın biçimiyle, verilen metinden sonra hangi kelimenin gelme ihtimalinin yüksek olduğunu hesaplar. Otomatik tamamlama, çeviri ve sohbet asistanlarının temelinde dil modelleri bulunur.