Блог

Я новичок в DSP и создаю спектрограмму аудиофайла. Моя спектрограмма не является гладкой и показывает довольно сырое изображение со значениями пикселей, что-то вроде этого

Пока я ищу гладкую спектрограмму, подобную этой

Где я делаю ошибку? Это из-за размера размера окна? Мой код для генерации спектрограммы Mel

 def readData(file):
    origData,origSampFreq = librosa.load(file, sr=None)
    return origData, origSampFreq


def resample(originalData, origSampFreq, targetSampFreq):
    resampledData = librosa.resample(originalData, origSampFreq, targetSampFreq)
    return resampledData


def normalizeSound(resampledData, axis):
    """ Axis is 0 for row-wise and 1 
    for column wise"""
    normalizedData = normalize(resampledData, axis)
    return normalizedData

def calculateMelSpectogram(normalizedData, hop_length, win_length, sr):
    #newSamplingFreq = 16000
    S=librosa.feature.melspectrogram(normalizedData, sr=sr, hop_length=hop_length, win_length=win_length)
    return S

#Plot melspectogram

def plotMelSpectogram(S, sr, name, ref=np.max):
    plt.figure(figsize=(10,3))
    S_dB = librosa.power_to_db(S, ref=np.max)
    librosa.display.specshow(S_dB, x_axis='time',y_axis='mel', sr=16000,)
    plt.colorbar(format='% 2.0f dB')
    plt.title('Mel-frequency spectrogram')
    plt.savefig('./chunk_images/'   name   "mel.png",dpi=(300), bbox_inches='tight')
    plt.tight_layout()
    plt.show()
def featureExtraction(audioFile, name, targetSampFreq = 16000, 
                      axis =0 , 
                      hop_length= 256,
                      win_length=512):
    
    y, y_sr = readData(file=audioFile)
    print(y, y_sr)
    resampledData = resample(originalData=y, origSampFreq=y_sr, targetSampFreq=targetSampFreq)
    normalizedData = normalizeSound(resampledData, axis=axis)
    S = calculateMelSpectogram(normalizedData=normalizedData, hop_length=hop_length, win_length=win_length, sr=targetSampFreq)
    plotSound(soundData=normalizedData, sr=targetSampFreq,x_axis_string='time' , name = name)
    plotMelSpectogram(S, sr=targetSampFreq, name = name, ref=np.max)
    return S

# plot orginal time domain data

def plotSound(soundData, sr, x_axis_string, name):
    plt.figure(figsize=(10,3))
    waveplot(soundData, sr, x_axis=x_axis_string)
    plt.savefig('./chunk_images/'   name   "sound.png",dpi=(300), bbox_inches='tight')
  

Временное разрешение mel-спектрограммы определяется hop_length . 256 выборок при частоте 16 кГц — это 16 мс, довольно высокое разрешение. Меньшие значения означают более высокое разрешение. Вы можете добиться некоторого сглаживания, используя n_fft значение, которое больше, чем hop_length . По умолчанию используется значение n_fft = 4x hop_length, где, поскольку у вас есть только 2x.

Разрешение по частоте задается n_mels , которое вы не указали. Чем выше, тем выше разрешение. Часто он находится в диапазоне 32-256 полос, типичное значение равно 128 (также по умолчанию в librosa). Если вы хотите еще больше, чем по оси частот, вам лучше использовать только STFT — без применения Mel filterbank.

Кстати, вы не переходите hop_length к librosa.display.specshow , поэтому ось времени, вероятно, на графике, скорее всего, будет неправильной.