最新、最优秀的Python TTS文本生成语音开源项目，不容错过！（持续更新中）
Python学习导航 2024-07-01 10:35:03 阅读 51
TTS是Text-To-Speech的缩写，全专题列出以PYTHON为主的著名的开源项目. 并不定时更新。
如果喜欢，请点赞收藏转发。
原文地址：TTS 开源项目- Python学习导航
发展历史：
早期的语音合成系统主要基于规则和合成的方法，它们试图通过对语音生成规则的建模来实现合成。这种方法的效果通常较为机械和生硬。随着深度学习技术的兴起，特别是循环神经网络（RNN）和长短时记忆网络（LSTM）等的应用，TTS 领域取得了显著的进展。深度学习模型可以更好地捕捉语音的复杂性和自然性。Tacotron 系列和 Transformer-based 模型等逐渐成为 TTS 领域的主流方法，它们能够更准确地从文本生成自然流畅的语音。
| # | 优秀TTS开源项目 | 2024年2月13日 |
|---|---|---|
| 1 | Github TTS | Github TTS 开源项目合集，不分开发语言 |
| 2 | suno-ai/bark | 由 Suno 创建的基于变压器的文本-音频模型。Bark可以生成高度逼真的多语言语音以及其他音频--包括音乐、背景噪音和简单的声音效果。该模型还可以产生非语言交流，如笑、叹气和哭泣。简单来说，这就是一个 AI 文字生成语文模型，最大的亮点就是可以生成各种音效，这是传统文字转语音工具做不到的。Bark 是一项强大而有趣的技术，但也可能被滥用，例如伪造他人的声音、制造虚假信息、侵犯版权等。为了防止这些问题，Suno 公司采取了一些措施： 限制音频历史提示的选项，只提供合成的声音，而不是真实人物的声音。 在生成的音频中添加水印，以标识其来源和合成性质。 在项目文档中提供道德准则和使用指南，敦促用户遵守相关法律法规和道德标准。 在项目许可证中明确禁止将 Bark 用于商业目的或非法目的。 在项目网站上提供举报机制，接受用户对滥用行为的投诉和反馈。 |
| 3 | whisper | OpenAI 开发的TTS模型，可以用于以下任务： 语音识别：Whisper 可以将音频转换为文本，支持多种语言和方言。 语音翻译：Whisper 可以将一种语言的语音翻译成另一种语言的文本。 语言识别：Whisper 可以识别音频中使用的语言。 音频摘要：Whisper 可以生成音频的摘要。 转录：Whisper 可以将音频或视频转换为文本，并自动生成时间戳和说话人标签。 |
| 4 | NVIDIA/tacotron2 | Tacotron2 是 Google 开发的具有里程碑意义的TTS模型，它使用了一种称为 Tacotron 的新架构，该架构可以生成更自然、更流畅的语音。NVIDIA 在 Tacotron 的基础上进行了改进，并开源了 Tacotron2 项目。 |
| 5 | Real-Time-Voice-Cloning | 5秒内克隆您的声音并生成任意语音内容。最初由 Corentin Jemine 创建。这个项目的首次提交日期是2018年10月23日。Real-Time Voice Cloning 的目的是通过深度学习技术实现实时语音克隆，即将一个人的语音转移到另一个人的语音上，并实现在实时中输入一段文本，然后使用指定人物的语音来说出这段文本。其主要功能是克隆和生成语音，具有潜在的应用包括语音合成、虚拟助手等。 |
| 6 | coqui-ai/TTS | Coqui AI 是一家致力于开发开源语音技术的波多黎各创业公司。他们的旗舰产品是 Coqui TTS，这是一个可以生成逼真人类语音的文本到语音系统。 Coqui TTS 可用于各种应用程序，包括电子学习、残障人士辅助技术和娱乐。Coqui TTS 基于深度学习技术，它使用大量语音数据来训练模型，以生成逼真且自然的语音。该系统可用于生成多种语言的语音，并且可以根据需要定制以满足特定需求。 Coqui AI 已获得语音技术界的认可，该公司已获得多个奖项，包括 2020 年人工智能峰会最佳语音技术奖。 Coqui TTS 还被用于各种商业和非营利项目，包括为盲人学生创建有声读物和为患有阿尔茨海默病的人创建辅助工具。 Coqui AI 致力于为每个人提供开源语音技术，他们相信这项技术有可能改变世界。通过使语音技术更容易获得，Coqui AI 正在帮助人们以新的方式相互联系和交流。PS:Coqui 是波多黎各特有的树蛙物种。它的名字来源于其响亮、重复的叫声，据说听起来像“co-kee”。coqui 在波多黎各文化中具有重要意义，被认为是该岛的非官方象征。 Coqui AI 以 coqui 命名，因为该公司的创始人希望他们的技术能够像 coqui 的叫声一样在世界各地传播。 Coqui AI 致力于开发开源语音技术，他们相信这项技术有可能改变世界。通过使语音技术更容易获得，Coqui AI 正在帮助人们以新的方式相互联系和交流。 |
| 7 | MockingBird | 一个基于深度学习的语音克隆开源项目。它可以将一段语音克隆成另一个人的声音，并且可以生成任意语音内容。 项目特点: 克隆速度快：只需5秒即可克隆一个人的声音。 支持中文：支持中文语音克隆，并且可以生成高质量的中文语音。 易用性：项目提供易于使用的界面和丰富的功能，可以让开发者和AI爱好者能够轻松地生成具有特定音色、语调和风格的语音。 开源：项目代码开源，可以免费使用和修改。 |
| 8 | mozilla/TTS | 一个用于文本到语音生成的高级库。旨在实现易于训练、高速度和高质量的最佳平衡。 提供预训练模型，以及用于测量数据集质量的工具，支持用于产品和研究的20多种语言，包括支持中文。 |
| 9 | topics/tts | 基于深度学习的文本转语音开源项目。它可以将文本转换为高质量的语音，并且支持多种语言。 项目特点: 高质量：生成的语音质量高，可以媲美真人语音。 多语言：支持多种语言，包括英语、西班牙语、法语、德语、中文等。 易用性：项目提供易于使用的API，可以轻松将其集成到其他应用程序中。 开源：项目代码开源，可以免费使用和修改。 |
| 10 | OpenVoice | 一款由MyShell推出的免费开源多功能即时AI语音克隆工具，只需参考说话者的短音频剪辑即可复制其声音，并且可生成多种语言的语音。OpenVoice 的核心优势在于其精确的音色克隆能力。它能够捕捉并复制参考语音的独特音色，无论是各种语言还是不同口音，都能实现高度逼真的语音合成。这一特性使得 OpenVoice 在语音合成领域独树一帜。 风格控制的灵活性是 OpenVoice 的另一大特点。用户可以通过调整情感表达、口音变化等风格参数，对生成的语音进行细致的控制。无论是温柔的语调还是激昂的演讲，OpenVoice 都能根据用户的需求进行定制，为语音应用带来更多可能性。 零次跨语言克隆是 OpenVoice 的突破性功能之一。它意味着无需在多说话人多语言训练数据集中出现参考语音和生成语音的语言，即可实现语音的克隆。这一特性打破了语言的壁垒，为跨语言交流和语音应用的全球化提供了前所未有的便利。 |
| 11 | GPT-SoVITS-WebUI | 强大的少样本语音转换与语音合成Web用户界面。零样本文本到语音（TTS）： 输入 5 秒的声音样本，即刻体验文本到语音转换。 少样本 TTS： 仅需 1 分钟的训练数据即可微调模型，提升声音相似度和真实感。 跨语言支持： 支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 WebUI 工具： 集成工具包括声音伴奏分离、自动训练集分割、中文自动语音识别(ASR)和文本标注，协助初学者创建训练数据集和 GPT/SoVITS 模型。 |
| 12 | PaddleSpeech | 百度开源的语音技术平台，包含语音识别、语音合成、声纹识别、语音增强等多个领域的领先技术和算法。PaddleSpeech 致力于为开发者提供易用、高效、可扩展的语音技术解决方案，帮助开发者快速构建各种语音应用。 项目特点: 技术领先：PaddleSpeech 采用了百度领先的语音技术，在语音识别、语音合成、声纹识别、语音增强等领域取得了业界领先的成果。 易用性强：PaddleSpeech 提供了易于使用的 API 和丰富的开发文档，帮助开发者快速上手。 高效：PaddleSpeech 进行了深度优化，可以提供高性能的语音处理能力。 可扩展：PaddleSpeech 采用了模块化的设计，可以方便地进行扩展和定制。 |
| 13 | VALL-E-X | 微软VALL-E X 零样本语音合成模型的开源实现。 尽管微软在其研究论文中介绍了这一技术，但他们并没有发布任何代码或预训练模型。 鉴于这项技术的潜力和价值，开发团队决定复现这一成果，并训练了自己的VALL-E X模型。 他们将这个开源项目分享给了社区，使每个人都能够体验到下一代TTS技术的强大之处。VALL-E X 的一些功能： 多语言 TTS: 可使用三种语言 - 英语、中文和日语 - 进行自然、富有表现力的语音合成。 |
| 14 | clone-voice | 本项目所用模型为coqui.ai出品的xtts_v2，模型开源协议为Coqui Public Model License 1.0.0,使用本项目请遵循该协议，协议全文见 https://coqui.ai/cpml.txt 这是一个声音克隆工具，可使用任何人类音色，将一段文字合成为使用该音色说话的声音，或者将一个声音使用该音色转换为另一个声音。 使用非常简单，没有N卡GPU也可以使用，下载预编译版本，双击 app.exe 打开一个web界面，鼠标点点就能用。 支持 中、英、日、韩、法、德、意等16种语言，可在线从麦克风录制声音。 为保证合成效果，建议录制时长5秒到20秒，发音清晰准确，不要存在背景噪声。 英文效果很棒，中文效果还凑合。 |
| 15 | GPT-SoVITS | GPT-SoVITS 是一个基于 GPT-3 的开源项目，可以利用少量语音数据 (只需 1 分钟) 进行语音转换和文本到语音合成。它使用了一种新的训练方法，称为 SoVITS (Self-supervised Voice Identity Transformer)，可以有效地学习语音特征并将其应用于新的语音合成。 主要特点: 零样本文本到语音（TTS）： 输入 5 秒的声音样本，即刻体验文本到语音转换。 少样本 TTS： 仅需 1 分钟的训练数据即可微调模型，提升声音相似度和真实感。 跨语言支持： 支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 WebUI 工具： 集成工具包括声音伴奏分离、自动训练集分割、中文自动语音识别(ASR)和文本标注，协助初学者创建训练数据集和 GPT/SoVITS 模型。 |
| 16 | TensorFlowTTS | TensorFlowTTS是一个基于TensorFlow的TTS开源项目，可以生成高质量的语音。该项目提供了多种TTS模型，包括Tacotron 2、WaveNet、Merlin和FastSpeech。 TensorFlowTTS项目的特点： 语音质量高：TensorFlowTTS项目提供的TTS模型可以生成高质量的语音，音色优美，自然流畅。 速度快：TensorFlowTTS项目提供的TTS模型速度快，可以满足实时性要求。 语言支持：TensorFlowTTS项目提供的TTS模型支持多种语言，满足不同用户的需求。 模型大小小：TensorFlowTTS项目提供的TTS模型体积小，方便部署。 许可证宽松：TensorFlowTTS项目许可证宽松，允许商业用途。 |
| 17 | EmotiVoice | 网易有道AI算法团队 开源的一款国产TTS语音合成引擎。EmotiVoice 是一款现代化的开源语音合成引擎，支持中英文双语，包含2000多种不同的音色，以及特色的情感合成功能，支持合成包含快乐、兴奋、悲伤、愤怒等广泛情感的语音。 通过官方项目介绍可以了解到，EmotiVoice 最突出的功能是情感合成，允许我们创建多种情感的语音。这个也是其他TTS开源项目没有提到过的。 |
| 18 | Bert-VITS2 | 基于Transformer架构的文本转语音模型，使用了Bert作为文本编码器，VITS2作为语音合成器。该项目可以生成高质量的语音，并且支持多语言。 |
| 19 | so-vits-svc | 个项目是为了让开发者最喜欢的动画角色唱歌而开发的，任何涉及真人的东西都与开发者的意图背道而驰.本项目与 Vits 有着根本上的不同。Vits 是 TTS，本项目是 SVC。本项目无法实现 TTS，Vits 也无法实现 SVC，这两个项目的模型是完全不通用的。本项目只是一个框架项目，本身并没有语音合成的功能，所有的功能都需要用户自己训练模型。 |
| 20 | DiffSinger | 一个基于深度学习的唱歌语音合成开源项目，可以生成高质量的唱歌语音。该项目采用了Shallow Diffusion Mechanism (SDM)技术，可以有效地控制唱歌语音的音色、音调和节奏。 |
声明
本文内容仅代表作者观点，或转载于其他网站，本站不以此文作为商业用途
如有涉及侵权，请联系本站进行删除
转载本站原创文章，请注明来源及作者。