0.説明

ForcePPG：ForceAlignmentに基づくPPG

Aishell-1 + Librispeech ForceAlignmentの結果でトレーニングされたASRは十分にトレーニングされていません。以前の結果と比較するために、ckpt早期停止の置き換えは実行されていません。
F0はASRでは使用されません。使用される構造を参照してください：[1] https://blog.csdn.net/u013625492/article/details/109670529 [2] https://blog.csdn.net/u013625492/article/details / 109206085 [3] https://blog.csdn.net/u013625492/article/details/109201157
効果は最高ではないかもしれませんが、PPGとして使用できます

1.抽出プロセス

1.1。Wav

DataBaker
LJSpeech

シンプルなRAWWAVで十分です

1.2。ファイルを抽出する

最初にCN-ASRについて説明し、次にEN-ASRについて説明します。2つの場所に別々にフォルダーを作成し、最終的に呼び出されたときにそれらをB-PPGにマージします。

これを参照できます：https： //github.com/ruclion/ppgs_extractor_10ms_sch_lh_aishell1/blob/master/extract_ppg_generate_DataBaker_ForcePPG.py

1.2.1。CN ASR

# 超参数个数：16
hparams = {
    'sample_rate': 16000,
    'preemphasis': 0.97,
    'n_fft': 400,
    'hop_length': 160,
    'win_length': 400,
    'num_mels': 80,
    'n_mfcc': 13,
    'window': 'hann',
    'fmin': 30.,
    'fmax': 7600.,
    'ref_db': 20,  
    'min_db': -80.0,  
    'griffin_lim_power': 1.5,
    'griffin_lim_iterations': 60,  
    'silence_db': -28.0,
    'center': True,
}


assert hparams == audio_hparams


MFCC_DIM = 39
PPG_DIM = 218

# in 
meta_path = '*.txt'
wav_dir = '*/wavs_16000'

# out1
ppg_dir = './LJSpeech-1.1-Mandarin-PPG/ppg_generate_10ms_by_audio_hjk2'
mfcc_dir = './LJSpeech-1.1-Mandarin-PPG/mfcc_10ms_by_audio_hjk2'
mel_dir = './LJSpeech-1.1-Mandarin-PPG/mel_10ms_by_audio_hjk2'
spec_dir = './LJSpeech-1.1-Mandarin-PPG/spec_10ms_by_audio_hjk2'
rec_wav_dir = './LJSpeech-1.1-Mandarin-PPG/rec_wavs_16000'
os.makedirs(ppg_dir, exist_ok=True)
os.makedirs(mfcc_dir, exist_ok=True)
os.makedirs(mel_dir, exist_ok=True)
os.makedirs(spec_dir, exist_ok=True)
os.makedirs(rec_wav_dir, exist_ok=True)
# out2
STARTED_DATESTRING = "{0:%Y-%m-%dT%H-%M-%S}".format(datetime.now())
good_meta_path = './LJSpeech-1.1-Mandarin-PPG/meta_good_' + STARTED_DATESTRING + '_v3.txt'
f_good_meta = open(good_meta_path, 'w')

# NN->PPG
ckpt_path = './aishell1_ckpt_model_dir/aishell1ASR.ckpt-128000'

コードは/ceph/home/hujk17/ppgs_extractor_10ms_sch_lh_aishell1/extract_ppg_generate_LJSpeech_ForcePPG.pyにあります。
そして/ceph/home/hujk17/ppgs_extractor_10ms_sch_lh_aishell1/extract_ppg_generate_DataBaker_ForcePPG.py
生成されたメルとPPGは対応する位置にあります

1.2.2。に

少し

1.3.PPGフォルダー

2.正規化されたドキュメント

ラボの3番目の操作では、ドキュメントが標準化されています。Webサイトは次のとおりです。https： //github.com/thuhcsi/dpss-exp3-VC-PPG

ジョブドキュメントのリンク：https： //drive.google.com/file/d/1C1Md176LKIkiO9s3VNssQ0hJzvWmZ0gZ/view？usp = shareing

[見ないで、整理しました。少し面倒です] PPGのインとアウト：https： //drive.google.com/file/d/1BUYsOtiaPzvee1Hrs77X71SjWWi-Zy3A/view？usp = shareing

Lu Hui、Changhe、Wang Jie、教師、クラスメートに感謝します。あなたのドキュメントは本当に簡潔でレベルが高いです。

ForcePPG：ForceAlignmentとその使用ドキュメントに基づくPPG抽出方法