İçeriğe geç
parazade
Yapay Zeka

Çok Modlu Model Nedir?

İngilizce: Multimodal Model

Yayın: · Son güncelleme:

Çok Modlu Model Nedir? Kısaca

Çok modlu model, metin, görüntü, ses veya video gibi birden fazla veri türünü aynı anda girdi olarak alabilen ya da bu türlerde çıktı üretebilen yapay zekâ modelidir.

Çok Modlu Model nedir?
İçindekiler
  1. Çok modlu model nasıl çalışır?
  2. Neler yapabilir?
  3. Nelere dikkat etmeli?

Çok modlu model (multimodal model), birden fazla "modaliteyi", yani veri türünü birlikte işleyebilen yapay zekâ modelidir. Örneğin bir fotoğraf yükleyip "Bu grafikte ne anlatılıyor?" diye sorduğunda cevap veren model, hem görüntüyü hem de metni anlamak zorundadır.

Çok modlu model nasıl çalışır?

Her veri türü önce kendine uygun bir kodlayıcıyla sayısal temsillere dönüştürülür:

  • Metin, tokenlere bölünüp vektörlere çevrilir.
  • Görüntü küçük parçalara (yamalara) ayrılır ve her parça bir vektöre dönüştürülür.
  • Ses, kısa zaman dilimlerinin temsillerine çevrilir.

Bu temsiller ortak bir uzaya taşınır ve genellikle bir transformer tarafından birlikte işlenir. Böylece model "kırmızı araba" ifadesi ile kırmızı araba fotoğrafını ilişkilendirebilir.

Neler yapabilir?

  • Görselleri betimleme ve görsel hakkında soru cevaplama
  • Fiş, belge veya ekran görüntüsünden bilgi çıkarma
  • Grafik ve tabloları yorumlama
  • Sesli konuşma ile karşılıklı sohbet
  • Metinden görsel, ses ya da video üretme

Yalnızca metinle çalışan büyük dil modellerinden farkı, dünyayı birden fazla kanaldan "algılayabilmesidir".

Nelere dikkat etmeli?

Çok modlu modeller de halüsinasyon görebilir: Görselde olmayan bir detayı varmış gibi anlatabilir, küçük yazıları veya sayıları yanlış okuyabilir. Yüklediğin fotoğraf ve belgelerde kişisel veri (kimlik, adres, yüz) olabileceğini unutma; hassas belgeleri paylaşmadan önce hizmetin gizlilik koşullarına bak.

Sıkça Sorulan Sorular

Multimodal ne demek?

Multimodal, "birden çok kipli" anlamına gelir. Yapay zekâda metin, görsel, ses ve video gibi farklı veri türlerini birlikte işleyebilen sistemleri anlatır.

Çok modlu modeller her görseli doğru anlar mı?

Hayır. Bulanık görsellerde, küçük yazılarda, sayımda ve uzamsal ilişkilerde hata yapabilirler. Önemli bilgileri görselin kendisinden ayrıca kontrol etmek gerekir.

İlgili terimler

Büyük Dil Modeli(Large Language Model)Büyük dil modeli (LLM), çok büyük miktarda metinle eğitilen ve bir metnin devamında hangi parçanın geleceğini tahmin ederek yazı üreten yapay zekâ modelidir. Sohbet asistanları, kod yardımcıları ve özetleme araçlarının temelinde bu modeller bulunur.Bilgisayarlı Görü(Computer Vision)Bilgisayarlı görü, bilgisayarların fotoğraf ve videolardan anlamlı bilgi çıkarmasını, yani nesneleri, yüzleri, yazıları ve sahneleri tanıyıp yorumlamasını sağlayan yapay zekâ alanıdır.Temel Model(Foundation Model)Temel model, çok geniş ve çeşitli verilerle ön eğitilen, ardından ince ayar veya promptlarla pek çok farklı göreve uyarlanabilen büyük ölçekli yapay zekâ modelidir.Metinden Görsele(Text to Image)Metinden görsele (text to image), kullanıcının yazdığı bir metin açıklamasını (prompt) yorumlayarak yapay zekâ ile sıfırdan resim, illüstrasyon ya da fotoğraf benzeri görsel üreten teknolojidir. Çoğu güncel sistem difüzyon modellerine dayanır.TokenToken, yapay zekâ dil modellerinin metni işlerken kullandığı en küçük birimdir; bir kelime, kelimenin bir parçası ya da bir noktalama işareti olabilir. Modellerin hızı, bağlam penceresi ve kullanım ücretleri genellikle token sayısıyla ölçülür.TransformerTransformer, metin gibi sıralı verileri dikkat mekanizmasıyla paralel işleyen ve büyük dil modellerinin çoğunun temelini oluşturan bir sinir ağı mimarisidir.Halüsinasyon(Hallucination)Yapay zekâ halüsinasyonu, bir dil modelinin gerçekte var olmayan ya da yanlış bir bilgiyi akıcı ve kendinden emin bir dille doğruymuş gibi sunmasıdır. Uydurma kaynaklar, hatalı rakamlar ve var olmayan özellikler en sık görülen örneklerdir.