Spektrogram Nedir?

Spektrogram, bir ses sinyalinin hangi frekanslardan oluştuğunu ve bu frekansların zaman içinde nasıl değiştiğini gösteren iki boyutlu bir görüntüdür. Ses dalgasını "görünür" hâle getirdiği için hem dilbilimde hem de yapay zekâda yaygın olarak kullanılır.

Spektrogram nedir?

Ham ses kaydı, zamanla değişen bir basınç dalgasıdır ve doğrudan bakıldığında hangi seslerin olduğunu anlamak zordur. Spektrogram bu dalgayı küçük zaman dilimlerine böler ve her dilim için frekans analizi yapar. Bu işleme kısa zamanlı Fourier dönüşümü denir.

Spektrogram nasıl okunur?

• Yatay eksen: Zaman.
• Dikey eksen: Frekans; aşağısı kalın (düşük), yukarısı ince (yüksek) sesler.
• Renk veya parlaklık: O frekansın o andaki şiddeti.

Örneğin bir ıslık, tek bir frekansta parlak ince bir çizgi gibi görünür. İnsan konuşmasında ise ünlüler yatay bantlar (formantlar), "s" ve "ş" gibi ünsüzler yüksek frekanslarda dağınık lekeler hâlinde belirir.

Yapay zekâda kullanımı

Ses modelleri çoğu zaman ham dalga yerine spektrogramla çalışır, çünkü bu temsil bilgiyi daha düzenli sunar. İnsan kulağının algısına göre ölçeklenmiş mel spektrogram, özellikle konuşma tanıma ve metinden sese sistemlerinde standart girdi ya da ara çıktıdır. Bir metinden sese modeli önce mel spektrogram üretir, ardından bir vokoder bunu duyulabilir sese çevirir.

Spektrogram bir görüntüye benzediği için, görüntü işlemede kullanılan evrişimli sinir ağları ses sınıflandırma görevlerinde de başarıyla kullanılabilir. Müzik türü tanıma, kuş sesi tespiti ve makine arızası dinleme bu yaklaşımın örnekleridir.