音频提取字幕开源模型-whisper

简介: 音频提取字幕开源模型-whisper

介绍

Whisper 是一种通用的语音识别模型。它是在包含各种音频的大型数据集上训练的,也是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。

地址:openai/whisper

whisper-webui

OpenAI 的 Whisper AI 模型的 HTML WebUI,可以转录和翻译音频。用户界面支持转录音频文件、麦克风音频和 YouTube 链接。

简而言之,提供了一个web版本的UI界面,可以让你通过点点点来处理自己的音频,无需使用命令行,

地址:aadnk/whisper-webui

可以做什么

B站有很多我非常喜欢的舞台剧,可是木有中文字幕,我只能望剧兴叹,谷歌也有一些实时翻译的插件,不过大多需要付费,很多也不能满足需求,直到我发现whisper这个好东西,我觉得主要妙在以下几点

  • 开源
  • 可以部署在自己电脑上,对硬件要求不是非常高
  • 安装还算便捷,处理速度可以接受

我该如何使用

我不打算再另外写一篇安装教程,不过可以提供两个写的比较好的教程,因为whisper是基于python安装使用的,所以python是必须的,从我的安装经验来看,直接安装出问题的概率较大,推荐使用Anaconda创建一个环境来安装,可以参考以下两篇文章:

Windows本地配置OpenAI Whisper+WebUI

如何在你的电脑上完成whisper的简单部署

获取字幕之后

whisper可以获取到字幕,其实它也支持直接翻译成英文,但是对咱们来说,最终还是需要中文字幕,可以手动翻译,也可以通过一些工具来达到:

nikse.dk

可以通过上面的网站将得到的字幕翻译成中文。

效果

经过我的测试,我的电脑装的是非常老的显卡,GTX960,但是能带动,2个小时大概120分钟的视频,日语的,大概要处理半个多小时,还可以接受,翻译效果来说,从视频到最终得到中文字幕,60%吧大概。

目录
相关文章
|
2天前
|
人工智能 自然语言处理 开发者
Claude 3系列包含Haiku(低)、Sonnet(中)和Opus(高)三个模型
Claude 3系列包含Haiku(低)、Sonnet(中)和Opus(高)三个模型
61 1
|
2天前
|
人工智能 编解码 自然语言处理
离线生成双语字幕,一键生成中英双语字幕,基于AI大模型,ModelScope
制作双语字幕的方案网上有很多,林林总总,不一而足。制作双语字幕的原理也极其简单,无非就是人声背景音分离、语音转文字、文字翻译,最后就是字幕文件的合并,但美中不足之处这些环节中需要接口api的参与,比如翻译字幕,那么有没有一种彻底离线的解决方案?让普通人也能一键制作双语字幕,成就一个人的字幕组?
离线生成双语字幕,一键生成中英双语字幕,基于AI大模型,ModelScope
|
2天前
|
语音技术
要将`modelscope-funasr`的输出从`Paraformer语音识别-中文-通用-16k-离线-large-长音频版-onnx`更改
【1月更文挑战第7天】【1月更文挑战第35篇】要将`modelscope-funasr`的输出从`Paraformer语音识别-中文-通用-16k-离线-large-长音频版-onnx`更改
89 3
|
9月前
|
机器人 语音技术
神器 | 文本转语音,直接可以合成多人多风格音频了!
为了适应更多的音频使用场景和需求,近期我们将文本转语音服务进行了升级,全新的功能将成为你配音工具的不二之选。
301 1
|
5月前
|
机器学习/深度学习 数据采集 人工智能
本地训练,立等可取,30秒音频素材复刻霉霉讲中文音色基于Bert-VITS2V2.0.2
之前我们[使用Bert-VITS2V2.0.2版本对现有的原神数据集进行了本地训练](https://v3u.cn/a_id_330),但如果克隆对象脱离了原神角色,我们就需要自己构建数据集了,事实上,深度学习模型的性能和泛化能力都依托于所使用的数据集的质量和多样性,本次我们在本地利用Bert-VITS2V2.0.2对霉霉讲中文的音色进行克隆实践。
本地训练,立等可取,30秒音频素材复刻霉霉讲中文音色基于Bert-VITS2V2.0.2
|
11月前
|
人工智能 自然语言处理 语音技术
音频提取字幕开源模型-whisper
音频提取字幕开源模型-whisper
493 0
|
11月前
|
监控 安全
Video-LLaMa:利用多模态增强对视频内容理解
在数字时代,视频已经成为一种主要的内容形式。但是理解和解释视频内容是一项复杂的任务,不仅需要视觉和听觉信号的整合,还需要处理上下文的时间序列的能力。本文将重点介绍称为video - llama的多模态框架。Video-LLaMA旨在使LLM能够理解视频中的视觉和听觉内容。论文设计了两个分支,即视觉语言分支和音频语言分支,分别将视频帧和音频信号转换为与llm文本输入兼容的查询表示。
356 1
|
12月前
|
人工智能 人机交互
可组合扩散模型主打Any-to-Any生成:文本、图像、视频、音频全都行
可组合扩散模型主打Any-to-Any生成:文本、图像、视频、音频全都行
133 0
|
12月前
|
自然语言处理 数据库 开发者
AudioLDM一作解读:文本生成高质量音频,单GPU即可
AudioLDM一作解读:文本生成高质量音频,单GPU即可
148 0
|
机器学习/深度学习 编解码 算法
深度学习工具audioFlux---一个系统的音频特征提取库
audioFlux是一个Python和C实现的库,提供音频领域系统、全面、多维度的特征提取与组合,结合各种深度学习网络模型,进行音频领域的业务研发,下面从时频变换、频谱重排、倒谱系数、解卷积、谱特征、音乐信息检索六个方面简单阐述其相关功能
286 0
深度学习工具audioFlux---一个系统的音频特征提取库
http://www.vxiaotou.com