阿里达摩院开源 AI视频剪辑工具FunClip

AIGC最新资讯8个月前发布 AiBots
96 0 0

在视觉内容为王的时代,视频编辑成为内容创作者的重要技能。阿里巴巴通义实验室于5月12日推出了FunClip,一款开源视频自动化剪辑工具,旨在提高视频切片的精准度和便捷性。FunClip采用FunASR Paraformer-Large模型,能够自动识别视频中的中文语音,并根据语音内容进行视频裁剪,显著提升了编辑效率。

6月12日,FunClip进行了重大更新,支持识别与裁剪英文视频。FunClip通过集成SeACo-Paraformer模型,用户可自定义关键热词,提高这些词在语音识别中的准确率,特别适用于专题视频制作。

FunClip还具备先进的说话人识别能力,使用CAM++模型识别不同说话人的声音,使用户能够轻松裁剪特定说话人的视频片段,尤其适用于访谈或多人对话视频。FunClip支持多段视频剪辑功能,用户可以组合多个视频片段,打造结构更丰富的视频作品。剪辑完成后,FunClip会自动生成SRT字幕文件,方便添加或编辑字幕,非常适合制作面向国际观众的内容。

 

Step1: 上传视频或音频文件(或使用下方的用例体验),点击识别按钮Step2: 复制识别结果中所需的文字至右上方,或者右设置说话人标识,设置偏移与字幕配置(可选)

Step3: 点击裁剪按钮或裁剪并添加字幕按钮获得结果

阿里达摩院开源 AI视频剪辑工具FunClip

🔥FunClip集成了多种大语言模型调用方式,并提供了prompt配置接口,支持通过大语言模型进行视频裁剪。它采用了阿里巴巴开源的工业级模型Paraformer-Large,这是当前识别效果最优的开源中文ASR模型之一,Modelscope下载量超过1300万次,并且能够准确预测时间戳。

FunClip还集成了SeACo-Paraformer的热词定制化功能,用户可以在ASR过程中指定一些实体词和人名作为热词,提升识别效果。此外,FunClip还集成了CAM++说话人识别模型,用户可以将自动识别出的说话人ID作为裁剪目标,将某一说话人的段落裁剪出来。

这些功能通过Gradio交互实现,安装简单,使用方便,可以在服务端搭建并通过浏览器使用。FunClip支持多段自由剪辑,并会自动生成全视频和目标段落的SRT字幕,操作简单便捷。

本地部署

阿里达摩院开源 AI视频剪辑工具FunClip 阿里达摩院开源 AI视频剪辑工具FunClip 阿里达摩院开源 AI视频剪辑工具FunClip
  1. 上传你的视频(或使用下方的视频用例)
  2. (可选)设置热词,设置文件输出路径(保存识别结果、视频等)
  3. 点击识别按钮获取识别结果,或点击识别+区分说话人在语音识别基础上识别说话人ID
  4. 将识别结果中的选段复制到对应位置,或者将说话人ID输入到对应为止
  5. (可选)配置剪辑参数,偏移量与字幕设置等
  6. 点击“裁剪”或“裁剪+字幕”按钮
阿里达摩院开源 AI视频剪辑工具FunClip

如果要使用大语言模型裁剪请参考如下教程:

阿里达摩院开源 AI视频剪辑工具FunClip

也可以通过命令行调用使用FunClip的相关功能:

阿里达摩院开源 AI视频剪辑工具FunClip

此外也可以在魔塔社区体验:

https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary

阿里达摩院开源 AI视频剪辑工具FunClip
© 版权声明

相关文章

暂无评论

暂无评论...