Meta发布的AI工具AudioCraft是一款集成了多种技术的音乐生成工具,它通过融合AudioGen、EnCodec和MusicGen三种模型或技术,能够根据文本内容生成高质量、逼真的音频和音乐。EnCodec作为一个编码器/量化器,虽然在证据中没有详细描述其具体功能,但它与AudioGen一起构成了AudioCraft的核心部分,共同支持音频和音乐的生成。
夸克网盘整合包下载链接:https://pan.quark.cn/s/79c09d488a6b
提取码:msSk
AudioCraft的设计旨在简化音频生成模型的整体设计,与先前的工作相比,提供了更简单的操作方式。此外,AudioCraft作为一个开源工具,不仅为研究人员和从业者提供了训练他们自己的模型的机会,还帮助推动了前沿技术的发展。Meta通过开源AudioCraft,展示了其在音频和音乐生成领域的进一步探索和创新。
本地部署与使用教程:
开源项目链接:https://github.com/facebookresearch/audiocraft
命令窗口指令:
git clone https://github.com/facebookresearch/audiocraft
pip install –r requirements.txt
pip uninstall torch torchvision torchaudio
pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 —index–url https://download.pytorch.org/whl/cu118
pip install xformers==0.0.22.post4 —index–url https://download.pytorch.org/whl/cu118
pip install gradio==3.39.0 gradio_client==0.3.0
python –m pip install –e .
创建运行脚本
***music–run.bat***
call venv\scripts\activate.bat
echo start…
python –m demos.musicgen_app
pause
***magnet–run.bat***
call venv\scripts\activate.bat
echo start…
python –m demos.magnet_app
pause