İçeriğe geç
parazade
Yapay Zeka

Embedding Ne Demek?

Yayın: · Son güncelleme:

Embedding Ne Demek? Kısaca

Embedding, bir kelimenin, cümlenin, belgenin ya da görselin anlamını sayılardan oluşan bir vektörle temsil etme yöntemidir. Anlamca birbirine yakın içeriklerin vektörleri de birbirine yakın olduğu için anlamsal arama ve RAG sistemlerinin temelini oluşturur.

Embedding nedir?
İçindekiler
  1. Embedding ne demek?
  2. Nerelerde kullanılır?
  3. Benzerlik nasıl ölçülür?
  4. Embedding modeli ile sohbet modeli farkı

Embedding ne demek?

Bilgisayarlar metni doğrudan anlamaz; onunla sayılar üzerinden çalışır. Embedding modeli, bir metni alıp onu yüzlerce ya da binlerce sayıdan oluşan bir vektöre dönüştürür. Bu vektör, metnin anlamını özetleyen bir koordinat gibi düşünülebilir. Eğitim sayesinde benzer anlamdaki metinler bu çok boyutlu uzayda birbirine yakın noktalara yerleşir.

Örneğin "faiz oranları yükseldi" ile "kredi maliyetleri arttı" cümleleri farklı kelimelerden oluşsa da embedding vektörleri birbirine yakın çıkabilir. Kelime eşleşmesine dayanan klasik aramanın kaçırabileceği bu ilişki, embedding ile yakalanabilir.

Nerelerde kullanılır?

  • Anlamsal arama: Kullanıcının sorusuyla aynı kelimeleri içermese de anlamca ilgili belgeleri bulmak.
  • RAG: Dil modeline verilecek ilgili belge parçalarını seçmek.
  • Kümeleme ve sınıflandırma: Benzer içerikleri gruplamak, konu etiketlemek.
  • Öneri sistemleri: Bir içeriğe benzeyen başka içerikleri önermek.
  • Kod tabanında arama: Bir projedeki ilgili dosya ve fonksiyonları bulmak.

Benzerlik nasıl ölçülür?

İki vektörün ne kadar yakın olduğu genellikle kosinüs benzerliği gibi matematiksel ölçülerle hesaplanır. Vektörler, bu tür benzerlik aramalarını hızlı yapabilen vektör veri tabanlarında saklanır.

Embedding modeli ile sohbet modeli farkı

Embedding modelleri metin üretmez; yalnızca metni vektöre çevirir. Bu yüzden genellikle sohbet modellerinden çok daha küçüktür ve az kaynakla çalışır. Yerel bir RAG kurulumunda bir sohbet modeli ile ayrı ve hafif bir embedding modeli birlikte kullanılır.

Sıkça Sorulan Sorular

Embedding ile token aynı şey mi?

Hayır. Token metnin parçalanmış birimidir; embedding ise bir metnin anlamını temsil eden sayısal vektördür. Embedding modeli metni önce tokenlara ayırır, sonra bunlardan bir vektör üretir.

Embedding modeli Türkçe metinlerde çalışır mı?

Çok dilli eğitilmiş embedding modelleri Türkçeyi de işler; ancak başarı modele göre değişir. Önemli bir projede kendi Türkçe belgelerinizle küçük bir deneme yapmanız önerilir.

İlgili terimler

RAG(Retrieval-Augmented Generation)RAG (Retrieval-Augmented Generation, erişimle zenginleştirilmiş üretim), bir dil modelinin soruyu cevaplamadan önce bir belge koleksiyonunda ilgili bölümleri bulup bu bölümlere dayanarak yanıt yazmasını sağlayan yöntemdir. Modeli yeniden eğitmeden kendi belgeleriniz hakkında soru sormanızı sağlar.TokenToken, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.Büyük Dil Modeli(Large Language Model)Büyük dil modeli (LLM), çok büyük miktarda metinle eğitilen ve bir metnin devamında hangi parçanın geleceğini tahmin ederek yazı üreten yapay zekâ modelidir. Sohbet asistanları, kod yardımcıları ve özetleme araçlarının temelinde bu modeller bulunur.Faiz(Interest)Faiz, borç verilen ya da bir süre kullanıma bırakılan paranın karşılığında ödenen bedeldir. Borç alan için bir maliyet, para yatıran için bir getiridir ve genellikle yıllık yüzde oran olarak ifade edilir.Anlamsal Arama(Semantic Search)Anlamsal arama (semantic search), kelimelerin birebir eşleşmesi yerine sorgunun ve belgelerin anlamını karşılaştırarak sonuç getiren arama yöntemidir. Farklı kelimelerle sorulan aynı soruya da ilgili içerikleri bulabilir.Görüntü Tanıma(Image Recognition)Görüntü tanıma (image recognition), bir yapay zekâ sisteminin fotoğraf ya da videodaki nesneleri, yüzleri, hayvanları, yazıları veya sahneleri tespit edip tanımlamasıdır. Bilgisayarlı görünün temel görevlerinden biridir.

İlgili yazılar

Yapay Zeka ile Kazanç

Kendi Bilgisayarında Ücretsiz Yapay Zekâ Sistemi Kur: Ekran Kartı, İşlemci ve RAM ile Adım Adım

Kendi bilgisayarında ücretsiz ve limitsiz bir yapay zekâ sistemi kurmak mümkün: Ollama ya da LM Studio ile dil modeli, Continue ile kod asistanı, ComfyUI ya da Forge ile görsel üretim. Belirleyici olan ekran kartının belleğidir (VRAM); 8 GB'lık kartta 7-8B modeller rahat çalışır, kart yoksa işlemci ve RAM ile daha yavaş çalışır.

· 30 dk okuma