爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
$ c2 J$ \! E c9 o$ @0 X# U
8 i* C! Q& W" A& }, q5 ^4 ~
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
% g. k: X# n7 X7 R8 G0 v
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
1 a- Y8 e& N5 H
----------------------------------------
, j5 s6 G) T$ s* F: }# }4 S
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
6 {2 X/ W/ M6 x
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
& L0 L/ ^% L* N5 ]
----------------------------------------
4 b, U: j. ~. z" d8 W
https://github.com/guillaumekln/faster-whisper
$ U D1 U- {) \" X, y
安装如下：
: o* t* |/ \3 J- y' C& T
1, Windows 10
" A; e2 X' ~2 H& E. N4 Z2 R) I
2, Python 3.10.11
7 x8 E' d \$ b2 N% g; y
3, CUDA 12.1
) ?$ S0 ^3 E" q u3 R d
4, 在python 3 中安装
6 i' O2 X* e1 C5 @6 n4 T6 ^4 p
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
7 S2 o. [* a3 o3 h4 n. x% A
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
; r' x: n2 B" }
5，pip install -U openai-whisper
6 _) k/ {( A" ^9 E; ^5 F
这是向whisper 致敬，可以不装
- n& Y4 d5 O/ z) {" l! g0 t
6，pip install faster-whisper
9 ~1 N2 i4 T. \& V
----------------------------------------
! o7 p7 c ~2 F3 j8 K# U$ a! g
whisper 我用的命令行，faster-whisper 我用的是python。
6 W' d9 M8 H% K5 D, x* E
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
e! O- x( ^1 e* r. B! f7 O8 \" s
# l' f; B5 D# |# p% P! b( }
----------------------------------------
" o+ u* B6 `5 H" P8 I9 p
. g- E& u! @9 i8 O5 o6 Q& \
from faster_whisper import WhisperModel
- `- r, K4 X( k( I
; |" i! z! b/ n: p' ^3 k6 F
model_size = "small"
. l9 O- [; Y1 m8 O9 _. p, V
7 ?- ?! h# k+ c# P( k
model = WhisperModel(model_size, device="cuda", compute_type="int8")
, ]: C* X4 Y2 D$ d' r% j' d
$ O4 ^$ a) B2 k# D* v. r! I7 m
segments, info = model.transcribe(
4 s- B% f, r+ U$ k
sourceFileName,
2 u3 v# E( t) Z( p' x+ M7 |* \
beam_size=5,
) f3 }" d( E7 Q4 o. z* @! V
language="en",
; k1 ? W5 I4 w3 {: ]/ L' v5 c
task="transcribe",
1 i) f3 V6 q7 h1 i/ a
word_timestamps=True,
3 {+ r1 i1 x+ m, t; I7 f
initial_prompt = "Hello, welcome to my lecture.")
, X' _. M; x+ ~7 k2 m& n5 x
; j# M9 Q! R. z7 x5 s
for segment in segments:
6 M( j/ M7 V: h! ]6 A) c/ m
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
* L' Y$ k) \5 d
) G" W7 ^4 C4 n# W
for word in segment.words:
- ?) R5 [5 t5 Y- L8 }
* u0 T I2 {: u8 s
----------------------------------------
, Z, X" A7 r- h; S* v1 t5 ~" r
' k; h [: B/ r: e! f2 f
代码说明：
; E2 a+ u: e# t- w2 A h
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
& |- L" X2 l1 ?1 B# l O0 x
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
1 V& h G' |% p- e
2，segment 本身是很粗糙的，做字幕勉强能用。
; a5 g d- Q2 R1 |
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
! c1 b; a1 Y/ P h7 A' K
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
* e3 B, C) s- V0 P3 r
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
7 Z0 e# T" i i! J) M/ }
5，model.transcribe 中参数说明：
I, ^% A' V2 B7 F1 l% c
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
1 L) a1 T7 J% |) k" X% @' v
其中
& A+ g+ L! [( U( ^! F. g* g
word_timestamps=True,
$ e: V# a% F- G8 }: {% B
保证了你能拿到 word，否则是拿不到的
" R r7 J* @% @( [5 Y
initial_prompt = "Hello, welcome to my lecture.")
H5 B$ E8 M9 c+ h2 D8 ^5 @9 i
保证能尽可能准确的断句 punctuation，但是不是决定性的。
. }; l# ^% s1 d8 s' O0 K0 x
其他参数可参考源文件：
7 R3 W5 W+ n$ Z5 k
https://github.com/guillaumekln/ ... isper/transcribe.py
5 w) ]0 n$ b3 r Y9 X" V
152 def transcribe(
* N7 R @" |5 p" `9 f
从源文件你可以看到是支持中文的句号断句的。
: ^! `" v/ {1 W/ E# _6 f# l
2 e) ]3 V- k+ r" p: d& I
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
7 F9 }8 y: ]9 D. M4 Z! w
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
7 a, f4 c, t1 t( |- W. l
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
. ~0 |7 Y! P4 `0 z
/ Q8 L1 L; Q8 i6 Q& X# G4 V
2 m* o# I% g" `, G, X& D- b8 T) d
1 s+ P* { {/ N; k
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://aswetalk.net/bbs/)
Powered by Discuz! X3.2