faster-whisper 更快的语音到文字的识别 ASR

nanimarcus

借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
----------------------------------------
# |" g" Q! Q$ a9 B显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
2 a6 x4 I' Z9 I3 j$ ]0 U# T----------------------------------------
https://github.com/guillaumekln/faster-whisper
8 x+ G" v) K4 S5 J* C安装如下：
1, Windows 10
- ~- o) \! n1 Z1 ?2, Python 3.10.11
& Y& _9 A7 B# v7 Y% }  _4 D3, CUDA 12.1
( n& q! V; K1 k, ?6 n- e$ c2 D4, 在python 3 中安装
) ^1 t, M. E$ B* f/ G6 J6 Ppip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
5，pip install -U openai-whisper
6 Y8 W8 _* P* f这是向whisper 致敬，可以不装
- }' f! B1 A" `: p6 h) L6，pip install faster-whisper
, g" d+ X. ~, P) {. u7 a% P! w; s----------------------------------------
whisper 我用的命令行，faster-whisper 我用的是python。
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
/ s" s* V  N- A! C
! y5 ?6 X* X: j0 q6 t$ I----------------------------------------
0 O% y, @! ~+ C4 l7 N5 N" O
% \4 n8 z3 {' R! e. Kfrom faster_whisper import WhisperModel

model_size = "small"
* [* _! N- ]9 `' j; G- b3 E8 ^2 Q
model = WhisperModel(model_size, device="cuda", compute_type="int8")
9 s( w. r% M& I7 R" z
5 O2 Y% [" y- z# Nsegments, info = model.transcribe(
    sourceFileName,
% C* y/ |, b& d" f5 b, o. I    beam_size=5,
1 [! u( J/ H; n    language="en",
$ X! d5 t, I. T4 b- p    task="transcribe",
; |1 I- X6 p5 o) w* L! K! J    word_timestamps=True,
7 ?' v1 w; j5 z9 g7 t    initial_prompt = "Hello, welcome to my lecture.")

for segment in segments:
' j8 D  c& W. X0 ^2 m) `( l  z    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
! G$ `- h( g8 V. r7 H
' Z% `9 a7 z8 I* K. N! [        for word in segment.words:
8 ]) j4 u; O# h  y+ w) B               
----------------------------------------
2 c/ `7 P5 B. g& Z+ @
) V0 _, k9 [# E* z代码说明：
, W( Z9 V/ k* g1 a0 f; i1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
& s; c5 K' Q% F$ T7 `1 R6 h但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
2，segment 本身是很粗糙的，做字幕勉强能用。
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
: @5 i* B1 `+ Y, U6 a2 ]4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
$ N( v9 h$ ]  U9 Q: f  ]1 o5，model.transcribe 中参数说明：
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
9 _' ~. R  u2 R$ F( v, B其中
    word_timestamps=True,
/ i* W. q+ {. |, i/ ]* H4 B保证了你能拿到 word，否则是拿不到的
    initial_prompt = "Hello, welcome to my lecture.")
. y0 a" X1 h8 Q. S保证能尽可能准确的断句 punctuation，但是不是决定性的。
其他参数可参考源文件：
$ l9 t8 e( Z+ c% Jhttps://github.com/guillaumekln/ ... isper/transcribe.py
152 def transcribe(
/ A* v8 o4 \( `: P& N从源文件你可以看到是支持中文的句号断句的。

' A2 U. u' _4 Y$ s# q6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
4 S( X; f! w. j! I7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
5 p1 A$ m/ _2 h$ q+ V


- L0 b$ A' Z$ }% D

nanimarcus

多谢各位榜爷打赏。