我之前的文章和视频中也介绍过好几款，或收费或开源的视频翻译工具，包括

• 收费的 MemoAI
• 收费的 YPlayer
• 开源的 pyVideoTrans
• 以及许许多多 Whisper 项目衍生

今天再介绍另一款开源的视频字幕自动翻译项目—- VideoLingo。

VideoLingo 是一款开源的视频自动翻译项目，可以将视频进行字幕切割，翻译，对齐，以及配音配音。

VideoLingo 可以接受 YouTube 链接或者本地视频，可以对视频进行自动转写，并且生成单词级别的转录文件，然后利用 LLM 对原始文本进行翻译，还可以利用 TTS 来生成配音

个人尝试了一下生成 Jensen Huang 的采访，翻译质量非常高，并且达到了宣称的 Netflix 字幕标准，只有单行的长度，并且中文翻译非常信达雅。

VideoLingo 还采用了多种 TTS 引擎，包括

• OpenAI
• Azure TTS
• [[GPT-SoVITS]]
• [[Fish Audio]] TTS

可以自行配置 API KEY 来生成中文配音，并自动合成到视频中。

相关的技术栈

• [[yt-dlp]] 实现 YouTube 视频下载
• [[WhisperX]] 语音转写，进行单词级时间轴字幕识别
• NLP 和 GPT 根据句意进行字幕分割
• GPT 总结提取术语知识库，上下文连贯翻译
• [[TTS]]
  • [[GPT-SoVITS]] 个性化配音，克隆声音并进行配音
• [[Streamlit]]

安装

git clone [email protected]:Huanshere/VideoLingo.git
cd VideoLingo
pyenv virtualenv 3.10.9 videolingo
pyenv local videolingo
pip install -r requirements.txt
python install.py
# 一键启动
streamlit run st.py

配置说明

LLM 配置

LLM 配置中需要使用到 [[Anthropic]] 的 API，可以访问 https://gpt.einverne.info 获取 API KEY

转录和字幕设置

这里我选择了本地 WhisperX 方法。

配音设置

略过

• [[Linly-Dubbing]]