faster-whisper 更快的语音到文字的识别 ASR

nanimarcus

借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
0 h* @  m( _' b. k3 U0 w: R0 r----------------------------------------
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
& Y, x7 T4 ^) }+ I; O$ W) M在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
----------------------------------------
' j, N5 U& S' t! m/ j4 w( e9 hhttps://github.com/guillaumekln/faster-whisper
2 u. O' |# Z9 [6 V' c安装如下：
# I0 o/ ^2 a& ?1, Windows 10
* x6 I( Y- P% S/ c2, Python 3.10.11
3, CUDA 12.1
4, 在python 3 中安装
! q* o9 w, {& g7 J& `9 P' y) m  Ppip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
5 W- Y1 W$ I" v& [& q5，pip install -U openai-whisper
这是向whisper 致敬，可以不装
' Y  t3 u, F5 K) B" E6，pip install faster-whisper
  d7 u$ r+ F. J" V3 m5 V$ N----------------------------------------
" T) _# H6 |3 j( Bwhisper 我用的命令行，faster-whisper 我用的是python。
7 x8 k* R, t% t8 h下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：

----------------------------------------
  m; W: _0 f7 v* S1 w2 K
from faster_whisper import WhisperModel

2 @, R' M! t- {( fmodel_size = "small"

model = WhisperModel(model_size, device="cuda", compute_type="int8")
2 K8 ]# \  S4 [: B% m' Q' ~+ d) y
segments, info = model.transcribe(
    sourceFileName,
    beam_size=5,
. T6 v& l( o1 }, f9 o1 T, ?2 q# u) d    language="en",
    task="transcribe",
    word_timestamps=True,
    initial_prompt = "Hello, welcome to my lecture.")
4 n/ h. m8 }5 T( p* p, c
for segment in segments:
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))

% V8 [  l$ _0 Q& p- l8 F. c1 V        for word in segment.words:
) d0 ?6 R, @6 v. }7 ~               
----------------------------------------
3 L, c) B& W. l9 s
$ U( ^9 M  d- E5 q代码说明：
" Z! |1 u" _5 H: B' w1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
) \, g& Q  z( ~- `5 Z) Z, G但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
2，segment 本身是很粗糙的，做字幕勉强能用。
6 f  M1 p' d. K3 g( A3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
* ~, z8 b" F& `/ K. e: Y# Z4 Q比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
5，model.transcribe 中参数说明：
: ^! c  S; m1 m- Y7 g你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
4 x# Z2 Y; t" t其中
( p  P; b& |9 w. v! i    word_timestamps=True,
6 s6 n' p' `: N  k4 B6 G2 n保证了你能拿到 word，否则是拿不到的
! {( }4 k" P3 ]) g1 K; ~( N: D8 s! w    initial_prompt = "Hello, welcome to my lecture.")
1 b9 d6 F/ j$ u* {! O/ Z保证能尽可能准确的断句 punctuation，但是不是决定性的。
其他参数可参考源文件：
* v% _6 G5 R$ I* [/ `# ^https://github.com/guillaumekln/ ... isper/transcribe.py
  o7 E. J) t; C" j9 ]152 def transcribe(
- V, a" O1 [; o9 r+ A, l从源文件你可以看到是支持中文的句号断句的。
7 v& A$ A; P1 t0 v4 ]) S' W
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
+ M) U* i/ O1 i& v. W7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
' `) F$ }8 g  f& L! B8 K: k( L8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。



  z0 F% F. _  \$ u; v$ u' d

nanimarcus

多谢各位榜爷打赏。