espnet实践简介

Espnet介绍

ESPNet中使用了ATT+CTC的架构，其可分为两大部分：

1、Shared encoder（共享编码器）：

包括了VGG卷积网络和BLSTM（双向长短时记忆网络）层，来完成语音到向量的转化。

2、Joint Decoder（联合解码器）：

联合解码器实现向量到最终文本结果的输出；

联合解码器包括CTC（负责标签和序列的自动对齐）、Attention（为不同序列赋予不同权重）和RNN-LM（语言模型，生成最优字词句）；

其中CTC和Attention二者共同使用一个Loss来使模型收敛，最终的损失函数LossMTL为CTC损失函数和Attention损失函数的加权求和；

联合解码中，使用one-pass beam search（剪枝搜索）方法来消除不规则的序列与标签的对齐。

Espnet的安装

一、准备工作

用git的方法把Espnet和Kaldi的项目保存到本地。

安装CUDA和对应版本的CUDADNN。

安装Pytorch，要和CUDA版本对应。

二、安装过程

设置CUDA的环境变量路径（~/.bashrc），安装指导里有代码，只要修改第一行代码为CUDA实际安装

路径就好了，设置完之后要执行source ~/.bashrc让它生效。

安装Kaldi。

把Kaldi工具导入到Espnet项目中去。

进入Espnet中的tools文件夹，执行命令：

make KALDI=/path_to_kaldi

同样可以执行make check_install检查安装。

安装完成后，把项目放到Espnet里的egs目录下就可以用了。

Espnet训练和测试步骤

机器学习

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。