İçeriğe geç
parazade
Yapay Zeka

Metin Parçalama (Chunking) Nedir?

İngilizce: Chunking

Yayın: · Son güncelleme:

Metin Parçalama (Chunking) Nedir? Kısaca

Metin parçalama (chunking), uzun belgeleri arama ve yapay zekâ sistemlerinde işlenebilmesi için anlamlı, küçük parçalara bölme işlemidir. Özellikle RAG sistemlerinde doğru bilginin bulunup modele verilmesinde kritik rol oynar.

Metin Parçalama nedir?
İçindekiler
  1. Neden gerekir?
  2. Yaygın yöntemler
  3. Örnek
  4. Nelere dikkat etmeli?

Metin parçalama, bir kitabı, sözleşmeyi ya da yardım merkezi içeriğini daha küçük bölümlere ayırma işidir. Bu parçalara "chunk" denir. Her parça ayrı ayrı vektöre çevrilir ve aranabilir hâle gelir.

Neden gerekir?

  • Dil modellerinin bağlam penceresi sınırlıdır; yüzlerce sayfalık belgeyi her soruda bütünüyle göndermek pahalı ya da imkânsızdır.
  • Embedding modelleri çok uzun metinlerde anlamı bulanıklaştırır; kısa ve odaklı parçalar daha isabetli eşleşir.
  • RAG sistemlerinde soruyla en ilgili birkaç parçayı bulmak, tüm belgeyi okumaktan daha verimlidir.

Yaygın yöntemler

  • Sabit uzunluk: Metni belirli sayıda token ya da karakterde böler. Basittir ama cümleleri ortadan kesebilir.
  • Örtüşmeli parçalama: Ardışık parçalar arasında küçük bir ortak bölüm bırakılır; bağlam kopması azalır.
  • Yapıya göre: Başlık, paragraf ya da madde sınırlarına göre böler. Sözleşme ve kılavuzlarda iyi sonuç verir.
  • Anlama göre: Konunun değiştiği yerleri tespit ederek böler; daha fazla işlem gerektirir.

Örnek

Varsayımsal 40 sayfalık bir kredi sözleşmesini düşün. Her maddeyi ayrı parça yapmak, "erken ödeme koşulları" sorusunda yalnızca ilgili maddenin bulunmasını sağlar. Sayfa ortasından rastgele kesilmiş parçalarda ise koşulun yarısı bir parçada, istisnası diğerinde kalabilir.

Nelere dikkat etmeli?

Çok küçük parçalar bağlamı kaybeder, çok büyük parçalar ise alakasız bilgiyi de taşır. İdeal boyut belgenin türüne ve kullanılan modele göre değişir; farklı ayarları örnek sorularla test etmek gerekir. Her parçaya kaynak belge adı ve bölüm başlığı gibi bilgiler eklemek, cevapların kaynağını göstermeyi kolaylaştırır.

Sıkça Sorulan Sorular

İdeal chunk boyutu nedir?

Herkese uyan bir değer yoktur. Belge türü, embedding modeli ve soru tipine göre değişir; birkaç farklı boyutu gerçek sorularla deneyip sonuçları karşılaştırmak en sağlıklı yoldur.

Parçalar neden örtüşmeli yapılır?

Örtüşme, bir cümlenin ya da düşüncenin iki parça arasında bölünmesi durumunda bağlamın kaybolmasını azaltır. Bedeli, biraz daha fazla depolama ve işlem maliyetidir.

İlgili terimler

RAG(Retrieval-Augmented Generation)RAG (Retrieval-Augmented Generation, erişimle zenginleştirilmiş üretim), bir dil modelinin soruyu cevaplamadan önce bir belge koleksiyonunda ilgili bölümleri bulup bu bölümlere dayanarak yanıt yazmasını sağlayan yöntemdir. Modeli yeniden eğitmeden kendi belgeleriniz hakkında soru sormanızı sağlar.Vektör Veritabanı(Vector Database)Vektör veritabanı, metin, görsel ya da ses gibi verilerin anlamını temsil eden sayısal vektörleri (embedding) saklayan ve bunlar arasında benzerlik araması yapmak için optimize edilmiş veri tabanı türüdür.EmbeddingEmbedding, bir kelimenin, cümlenin, belgenin ya da görselin anlamını sayılardan oluşan bir vektörle temsil etme yöntemidir. Anlamca birbirine yakın içeriklerin vektörleri de birbirine yakın olduğu için anlamsal arama ve RAG sistemlerinin temelini oluşturur.Bağlam Penceresi(Context Window)Bağlam penceresi (context window), bir dil modelinin tek seferde dikkate alabildiği en fazla metin miktarıdır ve token cinsinden ölçülür. Konuşma geçmişi, yüklenen belgeler ve modelin cevabı bu sınırın içine sığmak zorundadır.TokenToken, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.Görüntü Tanıma(Image Recognition)Görüntü tanıma (image recognition), bir yapay zekâ sisteminin fotoğraf ya da videodaki nesneleri, yüzleri, hayvanları, yazıları veya sahneleri tespit edip tanımlamasıdır. Bilgisayarlı görünün temel görevlerinden biridir.