设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 4793|回复: 1
打印 上一主题 下一主题

[信息技术] faster-whisper 更快的语音到文字的识别 ASR

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2023-6-4 02:10:18 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑 % Z) J  O# v" Z9 C7 m' i- |

" ^; C7 G  q* p& l2 Z0 ^- a3 V1 n  a借着 chatGPT 这股热潮研究了一下 Whisper,学名叫 automatic speech recognition (ASR) ,就是转换声音到文字的。9 ?) B- U9 K$ X$ C0 M* H
效果我是很满意的,唯一不满的是速度,在六年前的主流显卡上基本上是一倍速,基本上只用在自己特别喜欢的媒体文件上了。/ P' d# B/ W: p8 w) N$ G
----------------------------------------
; i7 @& o. c" P/ H1 ~$ q显然不满意的不是我一个,活雷锋很快就出来了,名字很谦虚也很霸气 faster-whisper。$ G% ^" n+ B1 N6 u
在六年前主力显卡3G内存上,model small,能跑到12倍速,这个是相当满意了。
- Y0 G  J& ]6 q* o. @9 C----------------------------------------4 ~  N$ F: Q! s- l  g. i8 s
https://github.com/guillaumekln/faster-whisper; i7 Z; F" a* y6 ^  O9 I) c) ~
安装如下:  E  P/ m' a# [) ?
1, Windows 108 e+ i* X) P2 Z/ g( a8 v# i
2, Python 3.10.119 h9 e, r9 _8 I, R( k) o  m! S  L( m
3, CUDA 12.1
  a$ T  j: q* r4, 在python 3 中安装+ m4 c  k0 b+ p5 j
pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117; r8 M; q8 l/ h, U- B- f2 e
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB,如果没显示,你得检查一下你的环境。+ P% b' ]$ r; A6 k
5,pip install -U openai-whisper1 t+ d  H0 X' f
这是向whisper 致敬,可以不装7 n! L& B6 s: W5 H% B
6,pip install faster-whisper* Q. U: Z2 a0 j# M- X7 I
----------------------------------------
, |1 D3 ~' z) \) {' \: dwhisper 我用的命令行,faster-whisper 我用的是python。
6 m5 V+ d* F. K* [8 b; U下面给出了部分参考代码,根据主页上的参考代码我做了修改,但这个不是能运行的代码:
) @7 }; a- J- U# d8 L
. f# T3 Q$ t  b" c" o----------------------------------------1 d" \1 s, d( h# ~, ~* N1 L
5 M2 G8 Y" h; s9 Q3 O
from faster_whisper import WhisperModel0 X$ ^' b8 Y8 c9 J
5 P9 E' z6 X3 n/ W5 I' U) z
model_size = "small"
2 `% _+ f, I5 R3 T& K. s8 `2 w  O/ z2 n0 E9 E5 e# w9 L2 Q
model = WhisperModel(model_size, device="cuda", compute_type="int8")  n; B- }' w" f

5 v6 S! F( B0 T! p+ O7 I% |segments, info = model.transcribe(
8 U( {' R: H6 p0 b  e, y- [    sourceFileName,
) l7 Z( e! I- R! P+ v6 `% ?    beam_size=5,
0 L. p" M' j9 _8 o# m. c    language="en",   J$ ~9 v- X- Q
    task="transcribe", 4 m$ k+ j0 {: l0 \( P
    word_timestamps=True, ; V' U$ C! C' q4 e8 |: C
    initial_prompt = "Hello, welcome to my lecture.")
# p! ]7 w: b# c. _1 Y; E7 {
8 N8 h+ A; K4 Y$ l" B  [# Ifor segment in segments:" {2 b  a) \4 Z, |
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
4 V. @/ t! w% i' L& T) E  ^6 V9 c8 v! z( t8 I5 a2 `
        for word in segment.words:
$ ~$ g( @% E7 G3 ?; W, X8 K7 x               
" t) W- `7 X" N+ p/ X# m# s----------------------------------------2 ]+ k! M& \6 ~2 [6 e$ R
! a" X+ ~( O8 S$ m
代码说明:. N9 S0 y; T) d1 D7 ]
1,model.transcribe 只是建立了模型,并没有运行,运行 是从 for segment in segments: 这一句开始的。/ S  X7 `. D" Y  t
但是这一步很重要(废话),我的程序有时候会无征兆退出就是在这一步,没有任何错误信息,倒是Windows 侦测到,但也没给出有意义的信息。
( {) @: z* r* n4 `9 m* f( [$ X1 ~2,segment 本身是很粗糙的,做字幕勉强能用。& I6 M1 g& j/ p, Y6 R+ K# |0 H
3,word 才是真正的精确控制的,本身带时间轴,所以要做比较好的字幕,必须用到word。
6 |1 l% w3 V! Z! |* ~$ z% U$ _4,word 里面是包含标点符号的,也就是说标点符号不是独立的,是附着在前一个word中( ]0 U  z* X, \/ Y9 i; J! _( [
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
1 u" z# S9 `! Z  }/ C% D/ P: n5,model.transcribe 中参数说明:
% s: y; {7 n+ _& Z4 `# g你要是对 whisper 的参数有所了解的话,基本上这些参数就是对应whisper 的参数; ?4 t+ U4 d9 l% [0 N
其中
, M3 S; C) Q+ x7 E5 W    word_timestamps=True, 2 O* k4 r. q1 [! o
保证了你能拿到 word,否则是拿不到的
+ {( U: ?9 \! Q0 r) d    initial_prompt = "Hello, welcome to my lecture.")
5 W5 P* {0 G" `保证能尽可能准确的断句 punctuation,但是不是决定性的。
/ R. G% l$ ]4 b7 `2 L其他参数可参考源文件:
# @* g% x/ J7 Thttps://github.com/guillaumekln/ ... isper/transcribe.py5 |0 O2 o+ V- u# v
152 def transcribe(- m$ U6 U0 O) G6 E$ p2 J
从源文件你可以看到是支持中文的句号断句的。7 g8 p" ~5 v, j* J) b' F2 K. A. C  y
+ g5 n6 ?) Y. R. k& |
6,如果要尽可能准确的 punctuation,根本办法是用比较大的模型 medium,或者更大。& C# y2 S% Y1 b) Y" J
7,我自己观察一个小时之内可以保证断句准确,再长就很可能不行,所以我的办法是切割文件到一个小时,识别后再聚合,效果不错。
3 N$ V  ?2 n2 x( F- t8,faster-whisper 会上传一些信息,检测到不停的使用网络,曾经有一次代码出错就是访问网络,你要是有洁癖就把网络暂时给关了。
% k# Q, R5 i' z, M0 v2 e; D! _1 ?9 m; a  n# ]

# @9 P2 Q6 G7 A. [' g
; h* E' e5 p$ E

评分

参与人数 4爱元 +32 收起 理由
蓦然回首 + 8
唐家山 + 4
老票 + 12
老财迷 + 8

查看全部评分

该用户从未签到

沙发
 楼主| 发表于 2023-6-4 11:53:23 | 只看该作者
多谢各位榜爷打赏。
回复 支持 反对

使用道具 举报

手机版|小黑屋|Archiver|网站错误报告|爱吱声   

GMT+8, 2025-9-17 08:17 , Processed in 0.040047 second(s), 17 queries , Gzip On.

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表