爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
. N+ H( G* D& s4 j0 M
: U+ P. h& |5 Y6 y7 a& h" |
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
- r. J9 L' |2 u6 l. H& N9 e0 G
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
4 n1 K# m7 Y- b
----------------------------------------
; G W# O' e+ e8 ^2 O; F
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
9 N: j9 E4 z! Q) j
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
^( V7 }3 o6 U' Q5 O
----------------------------------------
( W, z: ~+ ?: G! E$ u* Q" Z
https://github.com/guillaumekln/faster-whisper
% t+ r! g' B2 T9 f! N
安装如下：
+ p" P: h' R5 x; R' d. D8 z+ }
1, Windows 10
- L: k$ r# e J1 r" B5 _- j% u3 x: F
2, Python 3.10.11
" q8 v% r/ o4 [! I' [( v4 N
3, CUDA 12.1
# e' \4 n4 y6 P! x7 \6 D5 u! C
4, 在python 3 中安装
( I/ D0 Q! K, P6 { y! J
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
5 h: x" ~0 m9 M6 n7 v
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
, i! x3 Y6 g8 X2 `1 ]. Q4 U4 \
5，pip install -U openai-whisper
) y; M5 v/ J, F# g9 m
这是向whisper 致敬，可以不装
2 D: Q4 {; q0 P7 P- U H2 }
6，pip install faster-whisper
9 u0 s; v* O9 M% z( {$ Y4 p- R
----------------------------------------
/ I, f' X" p, k Y2 n% n/ a% h+ x
whisper 我用的命令行，faster-whisper 我用的是python。
7 e) W" O4 Q/ V" j. a2 @
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
4 U, C& g w. s' e
4 m7 A- l! c0 e0 z$ z+ p8 `, c' c
----------------------------------------
: d$ [! h6 S5 N! w
3 z. B _6 ~* h$ ]0 Z0 E
from faster_whisper import WhisperModel
0 T2 {0 L s6 n( c3 J* P A
$ [8 g# r+ k* O" x" f; ^# h
model_size = "small"
, Y- c4 T$ t/ x
2 h( a+ @4 G' h" L4 }5 \
model = WhisperModel(model_size, device="cuda", compute_type="int8")
* W. d3 r' }& z
8 e6 A3 }1 f0 s1 t1 J4 K
segments, info = model.transcribe(
8 R9 e% D. h2 O$ }5 ~6 ]4 w5 t7 _
sourceFileName,
9 @5 m) J- j7 D0 q# u
beam_size=5,
4 z, g. p3 _: h+ {- \) y( p+ e
language="en",
% N( x) S) i6 I, W0 s q+ d
task="transcribe",
% u6 F. L5 O* P. F
word_timestamps=True,
5 o- n- Y9 g- L9 G) K
initial_prompt = "Hello, welcome to my lecture.")
: U; V0 p0 z) O& |, l% S. r
8 i+ n, s" K" F& [
for segment in segments:
1 d. z- D3 @" W$ |/ q
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
/ p, R4 {0 D) G. }: F5 K* \
2 B$ k$ A1 Q5 e; t. L' d, M/ c8 K
for word in segment.words:
) k/ u3 V/ ~: a1 N4 |( s( W
/ ?, j" u- F2 |/ y$ o+ k# H) C2 m
----------------------------------------
% K. B; N2 R( J( r2 D0 y
. p! f3 J2 ?' Z8 a
代码说明：
0 x0 ^5 ^% j5 A; c' G, C
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
' k0 I; i2 H5 y+ V a% Y
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
& C5 j: S. n! R( y
2，segment 本身是很粗糙的，做字幕勉强能用。
$ |) I+ _9 C0 o& K5 O
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
W/ Y# f( O* j8 t1 Z5 N$ Q
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
: w: r4 m2 J/ n2 S) u( S
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
2 M1 k- j& A) `" q: }" p) a7 o
5，model.transcribe 中参数说明：
: n5 z5 e5 s: I M8 k0 o
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
: s7 r& N1 p( A* X, Y
其中
9 T( r8 m$ p O ~8 v% a
word_timestamps=True,
, k1 C- k; w0 n+ ?3 v e# m
保证了你能拿到 word，否则是拿不到的
$ `# K* C, a4 w$ r
initial_prompt = "Hello, welcome to my lecture.")
3 H3 m; E/ A, C) I. F
保证能尽可能准确的断句 punctuation，但是不是决定性的。
: g; h+ \ f& m/ [ [% `- z8 T
其他参数可参考源文件：
( F q0 I- ]2 d" h) ]
https://github.com/guillaumekln/ ... isper/transcribe.py
0 D9 Z: w. j- C
152 def transcribe(
: X- j# ?2 i( Q" p" A
从源文件你可以看到是支持中文的句号断句的。
$ A: l( n) b0 V% n/ z' O" R6 u
1 O* Z& ~0 }. @; `2 o: {" B" @8 B/ L
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
! }8 ^7 f% I% D& V
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
% [, L5 f& {! N" e
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
2 T( p. }9 v' p! S5 o* }
) ?) ?- t; Z1 Y1 Z6 b, G& o
. ?6 `( g; M( C% {. d+ ]8 R
- _+ t3 {1 M5 o! p& N
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://aswetalk.net/bbs/)
Powered by Discuz! X3.2