F5-TTS:上海交大開源超逼真聲音克隆TTS,15秒即可克隆聲音
發(fā)布日期:2024/11/15 23:16:40 瀏覽量:
F5-TTS是一款基于流匹配的全非自回歸文本到語音轉(zhuǎn)換系統(tǒng),由上海交通大學(xué)、劍橋大學(xué)和吉利汽車研究院的研究團(tuán)隊聯(lián)合開發(fā)。該系統(tǒng)無需復(fù)雜設(shè)計,如持續(xù)時間模型、文本編碼器和音素對齊,能夠?qū)崿F(xiàn)快速訓(xùn)練,并達(dá)到RTF(實時因素)0.15的推理速度,明顯優(yōu)于當(dāng)前基于擴(kuò)散的TTS模型。

F5-TTS在公共的100K小時多語言數(shù)據(jù)集上進(jìn)行訓(xùn)練,展現(xiàn)出高自然性和表現(xiàn)力的零樣本能力、無縫代碼切換能力和速度控制效率。項目提出了一種推理時的搖擺采樣策略,顯著提高了模型的性能和效率。
論文:https://arxiv.org/abs/2410.06885
模型下載:https://huggingface.co/SWivid/F5-TTS
Demo:https://huggingface.co/spaces/mrfakename/E2-F5-TTS
項目地址:https://github.com/SWivid/F5-TTS
模型特點
- 零樣本 (Zero-shot) 聲音克隆
- 速度控制(基于總時長)
- 可以控制合成語音的情感表現(xiàn)
- 長文本合成
- 支持中文和英文多語言合成
- 在 10 萬小時數(shù)據(jù)上訓(xùn)練
- 最重要的是支持商用
技術(shù)優(yōu)勢
F5-TTS 獨特的架構(gòu)使得它與傳統(tǒng) TTS 系統(tǒng)相比更具優(yōu)勢:
- 并行處理:不像傳統(tǒng)系統(tǒng)那樣依賴逐步生成語音,F(xiàn)5-TTS 能夠同時處理多個步驟,從而顯著加快了生成速度。
- 多場景支持:無論是智能助手、在線教育、語音閱讀器,還是其他需要 TTS 支持的場景,F(xiàn)5-TTS 都能夠提供自然流暢的語音輸出。
- 大規(guī)模數(shù)據(jù)訓(xùn)練:F5-TTS 在超過 100K 小時的多語言數(shù)據(jù)集上進(jìn)行訓(xùn)練,這讓它能夠在不同語言和語境下提供卓越的語音生成能力。
可移步語音之家其他平臺聽取音頻
使用方法
1、自定義本地部署服務(wù)
本地部署,需要保證GPU資源(算力)充足及Python環(huán)境。
- 克隆項目
git clone https://github.com/SWivid/F5-TTS.git
- 安裝項目依賴包
pip install -r requirements.txt
- 安裝合適的CUDA包(英偉達(dá)顯卡必須)
pip install torch==2.3.0+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
- 準(zhǔn)備數(shù)據(jù)集并訓(xùn)練、推理、運行項目
python gradio_app.py
2、在線使用
通過官網(wǎng)直接體驗其多語言語音生成和速度、情感控制功能。

- 上傳原始音色音頻,最好是說話的音頻,也可以錄制自己的聲音上傳。
- 然后輸入需要轉(zhuǎn)成語音的文本。
- 同步生成,最后就可生成帶預(yù)期音色的音頻了。
總結(jié)
F5-TTS 是繼Chat-TTS后有一款強(qiáng)大的TTS開源工具,尤其是在多語言處理、情感表達(dá)和語音生成速度上都實現(xiàn)了突破。
資源下載地址:
最新AI語音大模型,本地一鍵部署整合包,完美復(fù)刻語氣音色,支持多角色對話,解壓即用,AI語音克隆。
[原項目GitHub地址]:https://github.com/jpgallegoar/F5-TTS
整合包聚合鏈接:https://exmzfs7zve.feishu.cn/docx/FuPxdArRaofVMWxke2tc8IO9nCh?from=from_copylink
夸克網(wǎng)盤鏈接:https://pan.quark.cn/s/a0d2ebe90488 提取碼:nmgV
百度網(wǎng)盤鏈接: https://pan.baidu.com/s/1m3G34q9R3IvUII2rsfjzEg?pwd=tfe8 提取碼: tfe8
馬上咨詢: 如果您有業(yè)務(wù)方面的問題或者需求,歡迎您咨詢!我們帶來的不僅僅是技術(shù),還有行業(yè)經(jīng)驗積累。
QQ: 39764417/308460098 Phone: 13 9800 1 9844 / 135 6887 9550 聯(lián)系人:石先生/雷先生