faster-whisper 更快的语音到文字的识别 ASR

nanimarcus

" j) |. R6 n! l. R3 ?( B1 }' q
" X+ G( F: K/ P, N% J& W; S% ?  \3 j借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
----------------------------------------
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
3 `" |9 ]" L, Y3 l  }& ]+ X: Z在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
( @4 f5 p7 h; D+ w2 Z2 s----------------------------------------
' K) j0 b( l0 Q& Lhttps://github.com/guillaumekln/faster-whisper
; U; u! m9 m8 I安装如下：
1, Windows 10
2, Python 3.10.11
9 U; j3 s2 J: j0 O1 L& G3, CUDA 12.1
2 b2 A% ?0 O' [( O" C  q& p4, 在python 3 中安装
pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
4 g# Y# z9 M/ i, ~( P; y  D这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
5，pip install -U openai-whisper
& q2 ?0 f! M- `" w这是向whisper 致敬，可以不装
6，pip install faster-whisper
----------------------------------------
whisper 我用的命令行，faster-whisper 我用的是python。
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
  u9 V# i4 t7 L6 t- t
----------------------------------------

, K5 i2 h9 u% v3 i: L  bfrom faster_whisper import WhisperModel

model_size = "small"

7 O5 \" W4 M8 b( emodel = WhisperModel(model_size, device="cuda", compute_type="int8")

' o( D9 z7 S$ V+ Q6 {6 Wsegments, info = model.transcribe(
    sourceFileName,
. F& n8 I# C8 O% \$ }2 ]8 ^3 a2 F    beam_size=5,
    language="en",
    task="transcribe",
3 _4 K! N3 g" T  Q* G. j( X: b    word_timestamps=True,
    initial_prompt = "Hello, welcome to my lecture.")
; @+ P5 F  v/ E. S2 ?5 N
! d7 x% [: k# H" `; C# q+ z5 e  H: kfor segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

2 S% w, A2 K3 Z7 \        for word in segment.words:
1 e9 a7 U2 |  {2 Q  G               
----------------------------------------
0 x- N" T" L8 K9 }' N
代码说明：
+ S: v; s- F1 ~3 j$ \* t- C  j2 s1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
8 _8 }& c) u0 Z* p0 |  _6 b但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
) h* n3 k2 L! g3 M, i0 R2，segment 本身是很粗糙的，做字幕勉强能用。
- o( l* M/ [0 P3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
- ~+ Z% l& T! @+ V5 ?% B4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
5，model.transcribe 中参数说明：
# G- \* I' l) K3 U+ h你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
2 A1 N, y. D0 S其中
" o7 r: m* J' w8 R: q    word_timestamps=True,
保证了你能拿到 word，否则是拿不到的
    initial_prompt = "Hello, welcome to my lecture.")
) ?" @" |) s8 ~1 i保证能尽可能准确的断句 punctuation，但是不是决定性的。
其他参数可参考源文件：
: u; E/ e3 F- Ghttps://github.com/guillaumekln/ ... isper/transcribe.py
+ _( T. t9 p1 s( w" T* D* ]% e! A# R152 def transcribe(
- a2 X4 c# I0 o从源文件你可以看到是支持中文的句号断句的。
6 e& ^2 Y2 \# f$ {6 R. a. S
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
* V9 S- G3 k5 j8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。

% C! n9 l/ k' l! ~' ?; |" M

nanimarcus

多谢各位榜爷打赏。