faster-whisper 更快的语音到文字的识别 ASR

nanimarcus

" m) |7 j% D6 @
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
0 ^- e9 B; @4 F9 ]5 w! e* ~----------------------------------------
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
3 n0 s0 i. L; m& ]/ y9 u在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
----------------------------------------
https://github.com/guillaumekln/faster-whisper
" {9 b: z% F0 }, D2 i! J# ~安装如下：
6 t+ n4 z- I" }/ y1, Windows 10
1 S0 K3 A  q. _" p9 w; \2, Python 3.10.11
- N0 t$ e" D6 W6 Z3, CUDA 12.1
4, 在python 3 中安装
pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
; \% g/ l! Y, m( U. ~5 ~这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
5，pip install -U openai-whisper
这是向whisper 致敬，可以不装
/ o7 w& @3 ?+ E" i3 b& X- f4 U6，pip install faster-whisper
----------------------------------------
whisper 我用的命令行，faster-whisper 我用的是python。
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
$ c! N, z# u% @8 y3 o; i+ m1 z
& H7 M4 u$ A+ ?* V( ]----------------------------------------
/ D4 h$ N! ?' j! F
7 r8 z. n3 Q" a! pfrom faster_whisper import WhisperModel

( D) B. E( B3 p) I4 r8 C9 F" lmodel_size = "small"
" R# w$ i; ?* D, ]$ z- k/ O
model = WhisperModel(model_size, device="cuda", compute_type="int8")
6 F5 Y1 D% P1 P9 L/ s2 g
segments, info = model.transcribe(
    sourceFileName,
" x5 o. D2 ?$ U4 u) ~4 l    beam_size=5,
    language="en",
& g6 m1 K: |* E. Z$ j3 e    task="transcribe",
    word_timestamps=True,
7 C: m& J. C: L. `    initial_prompt = "Hello, welcome to my lecture.")
& t* v. r+ S- S# d  u$ b3 }0 L: H
for segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

        for word in segment.words:
               
9 p( M( E' X% o  `8 A- E3 l  T( n----------------------------------------
& n9 ?, n( k5 @' |
* {: `# m: s; r代码说明：
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
) p/ p" V1 Z- V5 k7 U2 N但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
  p4 {8 E3 L. Y% |% M2，segment 本身是很粗糙的，做字幕勉强能用。
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
! M6 E0 x8 p3 v6 I: x5，model.transcribe 中参数说明：
/ U/ H- Q! I: J0 K7 m你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
其中
& w0 Y9 d' r' \1 d) {7 i" K2 B    word_timestamps=True,
+ v1 s, J( ?3 z5 b  Q保证了你能拿到 word，否则是拿不到的
! P% I4 ]1 V7 P    initial_prompt = "Hello, welcome to my lecture.")
' [4 e4 N3 b( n! F0 q保证能尽可能准确的断句 punctuation，但是不是决定性的。
其他参数可参考源文件：
( J+ t; t0 X1 ?( l" t4 o& thttps://github.com/guillaumekln/ ... isper/transcribe.py
152 def transcribe(
( n: m3 u9 I, W. D7 K, N$ j从源文件你可以看到是支持中文的句号断句的。

  g  Z4 ]- ^3 ?) ?7 p6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
8 y* P. p5 W; e% ^8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
, r$ Q/ q# }; z( F' w( G7 f; o6 c; Z
/ z) a. L' K7 _% @2 i

; x7 L9 b4 S" `  Q' H& o8 b3 t4 ?- t

nanimarcus

多谢各位榜爷打赏。