爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
* ^* ]4 R' ~& y7 Z Q( U! {
- b q0 C8 v# f; e/ U1 R
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
/ ], O1 k8 e: l4 G5 t- Y
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
2 s u8 w/ i2 h$ o- l, j/ o
----------------------------------------
! ~8 W5 W" m: k. _3 j
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
$ Q) w) Y" w( `( r5 ?7 Q
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
6 a, _# i% [* M; i: t% ]9 V
----------------------------------------
, b1 \, L7 v* f
https://github.com/guillaumekln/faster-whisper
1 k2 w3 \ O! X8 M
安装如下：
; r3 V/ f+ h. w5 w( a5 ^
1, Windows 10
1 G2 _4 F8 E1 @+ ]6 I b
2, Python 3.10.11
( c9 ?3 o: M: h7 i4 @
3, CUDA 12.1
( N4 _* z5 Q0 R
4, 在python 3 中安装
! h# r% Z. z( F: R
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
1 B4 K: ]8 B# ~6 e+ U9 `
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
/ _8 e" b' p/ C: V8 a8 ?
5，pip install -U openai-whisper
# h2 M8 m9 l. U& R( k( A
这是向whisper 致敬，可以不装
3 K5 B1 ?; k! {
6，pip install faster-whisper
9 [- k, r, P. a6 D0 j+ f" v r' d
----------------------------------------
1 e/ @" s4 d# o' \( Z
whisper 我用的命令行，faster-whisper 我用的是python。
0 x1 X* z4 Y2 S4 y/ K, s1 w9 C
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
# v6 [9 a5 F1 q& c' V' c
3 Q" ]; L6 \8 s" C
----------------------------------------
3 Y) d4 g D% x# w1 d- B8 u% l
/ }+ O5 C& B9 u! c4 \$ |6 o5 M
from faster_whisper import WhisperModel
, ~, C6 @. O# n( h$ N
- [ {: u `( d
model_size = "small"
1 a3 F# k+ |/ k1 l
2 ]* [" _' s0 c6 R- Y
model = WhisperModel(model_size, device="cuda", compute_type="int8")
8 Y5 S: i5 W0 C
- J" _: l) s: w# _9 c1 s: k& \- ]) {
segments, info = model.transcribe(
. V' Q4 i5 P2 N3 f, H+ ~, M
sourceFileName,
( d2 U) u% y$ R% r/ _; I; A
beam_size=5,
: Q: ~) W$ H! g" K' G% x" E3 ]
language="en",
0 a# ^% |3 S! I3 W0 P* Y
task="transcribe",
7 ^8 R. h h' c6 y1 @% l. Q% U+ _
word_timestamps=True,
. j# P! p+ X4 O+ } {5 V
initial_prompt = "Hello, welcome to my lecture.")
2 S4 {7 Q2 d, q
; V+ g* d/ K" A! \, d
for segment in segments:
- e2 W6 j% }0 C9 l5 L9 M$ q
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
/ _* X' E4 K' ?1 W" t0 y- P
0 v, t) r7 Y. r% H
for word in segment.words:
9 g; W1 z2 F1 U$ n
; ^$ _: ]+ ^6 B S. H& V
----------------------------------------
4 K3 F2 g) S2 r6 ]* l s
6 w! y! h$ G1 g" l& W: }
代码说明：
|4 \( _6 J5 W9 A# ~7 l: N
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
; S% }; f8 W$ G
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
/ u* {8 Q& r4 q2 x4 M/ ^! W
2，segment 本身是很粗糙的，做字幕勉强能用。
4 \' w8 G1 ~4 z+ m4 K9 a
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
. d* M- i+ a! ~9 e+ @
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
! m1 S* m/ w* Z7 h* }; g
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
" K' n6 Q5 q0 R, M
5，model.transcribe 中参数说明：
+ j( l* w% a0 r- C. J
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
2 r* F: a, {% `0 T3 _ D7 [
其中
3 {3 W" `& g/ x7 F4 v3 b
word_timestamps=True,
; D1 {$ R/ [6 R w7 c
保证了你能拿到 word，否则是拿不到的
4 g! ~. y: W9 s+ Z3 _& V
initial_prompt = "Hello, welcome to my lecture.")
4 {# v" r+ u" C% E( v' S1 p8 @
保证能尽可能准确的断句 punctuation，但是不是决定性的。
% u; I& E$ e+ J% ~
其他参数可参考源文件：
$ a; K, S% E; y1 E! R+ z% D
https://github.com/guillaumekln/ ... isper/transcribe.py
! Z" v7 i( m2 ?, B) U) ^
152 def transcribe(
) ]7 S5 {) B/ p% N8 {9 c
从源文件你可以看到是支持中文的句号断句的。
* i8 ^7 F* D. w) s) t& X
' R+ s7 l" l- s! w* g+ B o
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
4 g+ ?* `$ v9 I" B) G0 W5 u5 l
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
5 C1 U G: ?3 n7 _
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
- k# z6 b* l9 c. p+ g6 Q2 |2 h, E
" s; S. ^2 v/ D+ k
) l" h$ N- d% G/ P& n
: c G, {+ ?2 x- u i! P
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://aswetalk.net/bbs/)
Powered by Discuz! X3.2