faster-whisper 更快的语音到文字的识别 ASR

nanimarcus

' N& z# o0 Q2 O, }
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
- K# `: S$ M) y) \效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
----------------------------------------
( p1 B- e" [5 S; I7 B5 V* [9 i显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
4 w' o" a/ {5 a/ s; ~8 s在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
----------------------------------------
* ~( f- b# q/ @https://github.com/guillaumekln/faster-whisper
安装如下：
1, Windows 10
2, Python 3.10.11
3, CUDA 12.1
4, 在python 3 中安装
9 B% k6 p% `* [8 e- _pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
  N! G$ l0 V8 G8 T! n" H5，pip install -U openai-whisper
0 G- [7 S8 T+ B. ^  L, ?这是向whisper 致敬，可以不装
6，pip install faster-whisper
) U. Y# K- t$ @( |1 E# t----------------------------------------
: }# c0 }0 v: E4 Pwhisper 我用的命令行，faster-whisper 我用的是python。
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：

, N  [7 [3 M; U; f4 H: V+ c* V----------------------------------------
) n& @+ t5 W! P7 @: R7 z
! A. E. w0 I: R" k" }from faster_whisper import WhisperModel
. ?( h$ M5 e; G' r
model_size = "small"

) H, |: a' U* }2 n( \% `8 _model = WhisperModel(model_size, device="cuda", compute_type="int8")

segments, info = model.transcribe(
: Q8 W: Q5 t1 L- J6 |1 D+ f/ J7 c0 K    sourceFileName,
    beam_size=5,
    language="en",
* [# \( T4 M: F# c% g    task="transcribe",
    word_timestamps=True,
2 t- j+ n  ?) ^$ K4 s    initial_prompt = "Hello, welcome to my lecture.")

: e% k3 g8 R& Q' f3 ?) C  Bfor segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

        for word in segment.words:
               
+ V" R1 m0 Q+ Q+ f5 d" `3 f----------------------------------------

6 r0 {% X6 A9 Z: f) O代码说明：
4 ]' K2 `* K8 s$ y4 o1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
  w: Q9 |9 t% r# Q3 T- J/ j; A但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
2，segment 本身是很粗糙的，做字幕勉强能用。
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
8 k& t  e4 o6 o& L8 T% W  M& d- R比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
: y9 O, V# Q' [" `6 e8 A( L9 U5 G5，model.transcribe 中参数说明：
  w3 |6 `4 r" W0 {6 U你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
* X) T% h6 i4 b其中
; m7 E) Y2 H$ d' K4 W    word_timestamps=True,
( w& K/ o3 A) V: k, @6 `保证了你能拿到 word，否则是拿不到的
    initial_prompt = "Hello, welcome to my lecture.")
: }7 o- W0 Z5 A  M, C1 K, N* d保证能尽可能准确的断句 punctuation，但是不是决定性的。
其他参数可参考源文件：
https://github.com/guillaumekln/ ... isper/transcribe.py
152 def transcribe(
从源文件你可以看到是支持中文的句号断句的。

4 e* l+ ]" E4 t; ~5 }6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
- f& r0 ?6 {& m1 M7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
3 E; A- ~" p) q( a) t2 @; W) i
& k$ ^4 \' i9 G5 N+ L" q1 G* M

2 B0 n: l+ N! b, I) L

nanimarcus

多谢各位榜爷打赏。