faster-whisper 更快的语音到文字的识别 ASR

nanimarcus

9 C' q- e3 `. U3 V$ _
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
, q5 G: i9 I! p0 r; Y7 F----------------------------------------
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
1 ?. N3 ^! k+ h0 e! K, [* p9 M1 a----------------------------------------
# Y1 J  s/ a2 }4 X  U6 ehttps://github.com/guillaumekln/faster-whisper
安装如下：
6 ]: D8 q  |. H5 K4 D4 R! p1, Windows 10
6 q6 `0 y, |9 W( \0 A2, Python 3.10.11
8 W6 A& g6 t% D/ t2 q/ {3, CUDA 12.1
5 V7 `8 e% v4 r) n4, 在python 3 中安装
/ @( X* B4 J4 i* x1 i* i* _pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
5 ^' b! V' ^7 V  g- U+ M8 z2 i这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
2 ~8 J* S& t# Z7 X7 e" y. l( E5，pip install -U openai-whisper
这是向whisper 致敬，可以不装
9 P& C" z1 N, G  ]6，pip install faster-whisper
' |  Q" y1 X7 ~$ u* j% R- _----------------------------------------
0 z& H; E2 i" x! ~% R  mwhisper 我用的命令行，faster-whisper 我用的是python。
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：

. V& ]5 ^) g' N; H# X' O3 d0 Z( {----------------------------------------
! Q! p( H2 F% n' O
from faster_whisper import WhisperModel
% _2 g/ }* U/ c# p' }
$ Q3 J& z. [/ B/ }model_size = "small"
' U* h+ q* E; n% V) E. N
model = WhisperModel(model_size, device="cuda", compute_type="int8")
+ w/ U+ o5 w; u( O5 ~& I
( _0 l: [+ ^* Wsegments, info = model.transcribe(
. P" t  s1 e1 }. P% {7 p% l    sourceFileName,
' k5 s  C0 a: I8 X# f; [& h, V7 ]    beam_size=5,
    language="en",
% a% X7 K3 M" m/ m# P, j" M    task="transcribe",
    word_timestamps=True,
: T2 E  i4 f9 }3 R    initial_prompt = "Hello, welcome to my lecture.")

for segment in segments:
$ m( W/ ~3 l, w  a    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

0 B  m8 \, u# i( f- n& l9 F) i        for word in segment.words:
               
2 F, s* `1 N$ I9 s9 V( F----------------------------------------

代码说明：
9 F1 G( ^" G3 H" `) b1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
5 ?* M8 t' F0 g& W$ e' D9 f/ ^1 `# U2，segment 本身是很粗糙的，做字幕勉强能用。
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
# s" b7 a) s1 C  A6 }3 _: M4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
+ U. [- v4 @8 U# ~' M比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
, w/ W, ~& p. M) y# q7 }5，model.transcribe 中参数说明：
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
' g1 E/ N% _/ X! ?% A其中
    word_timestamps=True,
" Q- A7 m& k5 a9 g4 Q1 r8 w4 T  l2 ~保证了你能拿到 word，否则是拿不到的
    initial_prompt = "Hello, welcome to my lecture.")
# Z: Z9 J8 c" B& X7 S: T5 v5 t保证能尽可能准确的断句 punctuation，但是不是决定性的。
0 m! V- _7 T( j% y其他参数可参考源文件：
https://github.com/guillaumekln/ ... isper/transcribe.py
152 def transcribe(
7 V; e0 Q7 y/ W从源文件你可以看到是支持中文的句号断句的。
" o* u; q  }, ~" S- N9 s9 [
4 S6 \* Q" s$ ?  |/ X* U6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
( M- U# u5 n2 ?* W5 g7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。


3 m; a9 J" }4 f' J. K& Y7 F
" W4 Q0 @  c; j; h1 ]0 p7 U

nanimarcus

多谢各位榜爷打赏。