爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
0 ?; F$ i3 I G8 C
: {- c/ S$ w2 T% G5 T5 H
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
]7 h1 b4 d+ y- u; I
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
$ }" m4 e* ] W' J
----------------------------------------
4 K# Q; f0 ?2 p$ i& Z) y
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
1 b$ y; v! A' {7 M& X Y
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
1 L) S9 g; E; l6 l. x
----------------------------------------
% Q& X; }3 l2 q# f. e$ D
https://github.com/guillaumekln/faster-whisper
' Q9 k1 b W* R1 [
安装如下：
1 O# }+ g+ \. [+ o! q5 q
1, Windows 10
0 X+ D. u7 V. \' @ K4 r. |
2, Python 3.10.11
3 [% W4 I$ W0 c
3, CUDA 12.1
' a; ~! T& M8 k9 U
4, 在python 3 中安装
' k5 }+ ~) f1 [# \' c0 ^
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
9 e1 Q8 E$ D) G0 {
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
$ f' u0 A( n: w) Z( k
5，pip install -U openai-whisper
$ y2 |, @0 l9 o- e6 q# H
这是向whisper 致敬，可以不装
9 }( O5 r% @9 ^; q/ o, h! S$ Y
6，pip install faster-whisper
4 A, ^ c. h% Z2 ~# n
----------------------------------------
* j8 T0 T6 L8 v8 Y$ k
whisper 我用的命令行，faster-whisper 我用的是python。
4 p0 ]1 t& [: L& A
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
: X" A2 p+ T7 m0 Q3 u- N5 V
" h! u* H }* o
----------------------------------------
/ `9 e" M( z( c* L/ c! j- k9 P
( \( |4 d7 }/ f
from faster_whisper import WhisperModel
* F9 X# X2 W, w# _: j9 _
/ z! x3 R( @& P1 P! |; K; p0 E- Q z' k
model_size = "small"
! `4 F1 C& j( L- f; b0 i$ W# w
9 Q& T4 l1 G/ B4 ` d1 M9 i. o/ a
model = WhisperModel(model_size, device="cuda", compute_type="int8")
1 k1 r) c: E$ S2 Q
( N/ V3 W n" C/ n. O Y4 a) T
segments, info = model.transcribe(
2 C3 m1 c" J. f
sourceFileName,
7 W/ |2 D& [6 }& i3 P/ a
beam_size=5,
! n2 T: e- w& I' d+ `0 M) H( T) ]
language="en",
; v5 s/ q! S/ C f4 L
task="transcribe",
- q8 C1 K- w; c: |% ~4 w, W+ F
word_timestamps=True,
2 m/ P) H8 v5 W- _9 n B7 D
initial_prompt = "Hello, welcome to my lecture.")
5 p, R2 R. d* Z0 A' p& Y
: u; n( |2 J- m4 A0 D
for segment in segments:
) m( _: {. `# T, G4 I5 m
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
8 J8 J. @/ r/ ?
( b' J( M5 a+ y9 s: f+ X/ ~
for word in segment.words:
' d L. m) d @! S s6 c* _/ L1 v, v
; e) C7 `, q! a3 S4 t
----------------------------------------
- R3 j1 C f+ ?. L; l0 {) p9 R% [: m3 Y
$ Z) o. J# O% }
代码说明：
; u: Z, l- p: ?& R9 ?. w" v9 p( Y! r }
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
" V5 ]6 B, O$ }6 U1 U7 q
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
: L! \; l T8 Y7 T" {$ ^
2，segment 本身是很粗糙的，做字幕勉强能用。
! h) E1 \* O2 ]5 I* F
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
: D" X9 ?! A, {2 X1 }8 H
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
1 D1 Y& C0 i. E8 L
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
6 g0 P/ d: a* y5 t
5，model.transcribe 中参数说明：
: O& J' c- q1 x3 N+ R' N, E) c* [$ q0 P
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
& r9 h. W" Z2 w9 [+ @$ O- @
其中
D3 @: m+ l4 e' \
word_timestamps=True,
9 A4 f! B1 L2 [# ?
保证了你能拿到 word，否则是拿不到的
: ?$ T- V2 U3 o4 x0 Q- D2 I- T
initial_prompt = "Hello, welcome to my lecture.")
- k& S$ o2 z- V# R& A( q I
保证能尽可能准确的断句 punctuation，但是不是决定性的。
' L0 g/ x) c# o' c+ o: n
其他参数可参考源文件：
. f6 K/ E+ I ~1 }7 h9 o
https://github.com/guillaumekln/ ... isper/transcribe.py
[. r/ u( g S0 L# c6 d
152 def transcribe(
' u/ z5 _% i: S- G' I- V k3 C. ^
从源文件你可以看到是支持中文的句号断句的。
' X9 ]4 S. o$ J( i
1 M4 U2 e$ C% w
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
1 r/ ^1 Z4 ~3 P1 v1 ]7 d
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
0 r7 r9 ]. \+ i. W
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
8 I! }$ s/ x7 F1 ~5 }% I& c
Y* W f+ f5 E. [
3 C1 g/ U4 d$ B- l* w; r4 q
/ h8 ?3 V& X" E4 X* r3 w6 S
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://aswetalk.net/bbs/)
Powered by Discuz! X3.2