CLIP Nedir?

CLIP nedir?

CLIP, İngilizce Contrastive Language-Image Pre-training ifadesinin kısaltmasıdır; "karşıtlıklı dil-görüntü ön eğitimi" diye çevrilebilir. OpenAI araştırmacıları tarafından 2021'de tanıtıldı. Model, internetten toplanan çok sayıda görsel-açıklama çiftiyle eğitildi ve bir görselin hangi metne karşılık geldiğini anlamayı öğrendi.

Nasıl çalışır?

CLIP iki ayrı kodlayıcıdan oluşur:

• Görsel kodlayıcı: Bir resmi sayısal bir vektöre (embedding) dönüştürür.
• Metin kodlayıcı: Bir cümleyi aynı boyutta bir vektöre dönüştürür.

Eğitim sırasında bir grup görsel ve açıklama birlikte işlenir. Model, doğru eşleşen çiftlerin vektörlerini birbirine yaklaştırmayı, yanlış eşleşenleri ise birbirinden uzaklaştırmayı öğrenir. Bu yönteme karşıtlıklı öğrenme (contrastive learning) denir. Benzerlik genellikle kosinüs benzerliği ile ölçülür.

Sıfır örnekli sınıflandırma

CLIP'in en dikkat çekici özelliği, özel olarak eğitilmediği kategorileri tanıyabilmesidir. Varsayımsal örnek: Bir fotoğrafın kedi mi köpek mi olduğunu bulmak için "bir kedi fotoğrafı" ve "bir köpek fotoğrafı" metinleri kodlanır; görsel vektörüne en yakın metin, tahmin edilen sınıf olur.

Nerelerde kullanılır?

• Metinle görsel arama ve görsel arşivlerini düzenleme
• Metinden görsel üreten bazı difüzyon modellerinde metin kodlayıcı olarak
• İçerik filtreleme ve etiketleme
• Çok modlu modellerde görsel anlamanın bir bileşeni olarak

Nelere dikkat etmeli?

CLIP, internet verisinden öğrendiği için bu verideki toplumsal önyargıları yansıtabilir. Nesneleri saymak, ince ayrıntıları ayırt etmek ya da uzmanlık gerektiren görüntüleri (ör. tıbbi görüntüler) yorumlamak gibi görevlerde zayıf kalabilir. Ayrıca metin ifadesinin nasıl kurulduğu sonucu etkileyebilir; aynı sınıfı farklı cümlelerle denemek iyi bir pratiktir.