在视觉内容为王的时代,视频编辑成为内容创作者的重要技能。阿里巴巴通义实验室于5月12日推出了FunClip,一款开源视频自动化剪辑工具,旨在提高视频切片的精准度和便捷性。FunClip采用FunASR Paraformer-Large模型,能够自动识别视频中的中文语音,并根据语音内容进行视频裁剪,显著提升了编辑效率。
6月12日,FunClip进行了重大更新,支持识别与裁剪英文视频。FunClip通过集成SeACo-Paraformer模型,用户可自定义关键热词,提高这些词在语音识别中的准确率,特别适用于专题视频制作。
FunClip还具备先进的说话人识别能力,使用CAM++模型识别不同说话人的声音,使用户能够轻松裁剪特定说话人的视频片段,尤其适用于访谈或多人对话视频。FunClip支持多段视频剪辑功能,用户可以组合多个视频片段,打造结构更丰富的视频作品。剪辑完成后,FunClip会自动生成SRT字幕文件,方便添加或编辑字幕,非常适合制作面向国际观众的内容。
Step1: 上传视频或音频文件(或使用下方的用例体验),点击识别按钮Step2: 复制识别结果中所需的文字至右上方,或者右设置说话人标识,设置偏移与字幕配置(可选)
Step3: 点击裁剪按钮或裁剪并添加字幕按钮获得结果
![阿里达摩院开源 AI视频剪辑工具FunClip](http://ai-bots.com.cn/wp-content/uploads/2024/06/1719573754-2024-06-26_6ed62bf8422951fc0b09af68275c9ce2_1.jpeg)
🔥FunClip集成了多种大语言模型调用方式,并提供了prompt配置接口,支持通过大语言模型进行视频裁剪。它采用了阿里巴巴开源的工业级模型Paraformer-Large,这是当前识别效果最优的开源中文ASR模型之一,Modelscope下载量超过1300万次,并且能够准确预测时间戳。
FunClip还集成了SeACo-Paraformer的热词定制化功能,用户可以在ASR过程中指定一些实体词和人名作为热词,提升识别效果。此外,FunClip还集成了CAM++说话人识别模型,用户可以将自动识别出的说话人ID作为裁剪目标,将某一说话人的段落裁剪出来。
这些功能通过Gradio交互实现,安装简单,使用方便,可以在服务端搭建并通过浏览器使用。FunClip支持多段自由剪辑,并会自动生成全视频和目标段落的SRT字幕,操作简单便捷。
本地部署
![阿里达摩院开源 AI视频剪辑工具FunClip](http://ai-bots.com.cn/wp-content/uploads/2024/06/1719573765-2024-06-26_630282f59aa258dd1bbd1a307c4dbac5_4.png)
![阿里达摩院开源 AI视频剪辑工具FunClip](http://ai-bots.com.cn/wp-content/uploads/2024/06/1719573766-2024-06-26_cf8bd1a95fe2a9eb24cfcfbeaffc25e8_2.png)
![阿里达摩院开源 AI视频剪辑工具FunClip](http://ai-bots.com.cn/wp-content/uploads/2024/06/1719573766-2024-06-26_456ff5b124f85583e2af5fa8d2d56fb9_3.png)
- 上传你的视频(或使用下方的视频用例)
- (可选)设置热词,设置文件输出路径(保存识别结果、视频等)
- 点击识别按钮获取识别结果,或点击识别+区分说话人在语音识别基础上识别说话人ID
- 将识别结果中的选段复制到对应位置,或者将说话人ID输入到对应为止
- (可选)配置剪辑参数,偏移量与字幕设置等
- 点击“裁剪”或“裁剪+字幕”按钮
![阿里达摩院开源 AI视频剪辑工具FunClip](http://ai-bots.com.cn/wp-content/uploads/2024/06/1719573776-2024-06-26_095b0894a0075d5ae6ecfe4bc2cc89fe_5.jpeg)
如果要使用大语言模型裁剪请参考如下教程:
![阿里达摩院开源 AI视频剪辑工具FunClip](http://ai-bots.com.cn/wp-content/uploads/2024/06/1719573784-2024-06-26_b8f3d4bb030587609c886601c98ca7f1_6.png)
也可以通过命令行调用使用FunClip的相关功能:
![阿里达摩院开源 AI视频剪辑工具FunClip](http://ai-bots.com.cn/wp-content/uploads/2024/06/1719573794-2024-06-26_3e673263bc46f4e3fec0ff8bea374917_7.png)
此外也可以在魔塔社区体验:
https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary
![阿里达摩院开源 AI视频剪辑工具FunClip](http://ai-bots.com.cn/wp-content/uploads/2024/06/1719573802-2024-06-26_4afd6efefc2fcbd584f44f55ffaadfb7_8.png)