爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
j9 q4 |5 h: ~7 G5 v4 O+ a1 b; F4 f
1 @& u$ m9 Z* r# V8 u, |
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
T1 c& i- q; Y" o
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
3 t- f' w3 i6 a2 M& O, {
----------------------------------------
1 h- ~- ~0 X) h; ]2 q0 K+ L
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
6 e% P/ C1 x0 W2 {; G/ W' ?( @' s
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
* k6 ~( [$ r# t
----------------------------------------
1 J- E* {% i- E* B
https://github.com/guillaumekln/faster-whisper
: x# c/ Q2 M) V) j( O. d
安装如下：
# S4 e. Z: y& o0 t9 P, B- C u
1, Windows 10
8 x1 ?0 g8 z2 T. M/ k" ]: e) q
2, Python 3.10.11
1 ~/ {3 h: T: @, Q: n
3, CUDA 12.1
0 g1 w% y( j4 x1 O( N" a' @
4, 在python 3 中安装
6 H' }4 \" d* w
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
1 j' a2 K& s5 g* l {3 D/ S
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
" u0 _9 P9 h0 M4 i5 O. b# J
5，pip install -U openai-whisper
0 ]+ [+ N2 Z3 D' f
这是向whisper 致敬，可以不装
( w/ Z# F i2 T
6，pip install faster-whisper
- x% B2 j* O, t9 u, n/ o7 D$ P
----------------------------------------
! F' E- S: X+ h
whisper 我用的命令行，faster-whisper 我用的是python。
2 X3 b8 }; b, h! ~
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
5 [1 V/ [" l& u; L' L1 Q
- x8 z; c4 b; i/ g: Y
----------------------------------------
5 Q/ ~7 y2 o" d2 C+ h
5 ^: Z; }/ y5 u4 q
from faster_whisper import WhisperModel
+ O% g |4 h A6 @2 V( M* G
: k: n. M% `3 f$ K5 j2 c( A
model_size = "small"
6 o m" p6 f! M1 M3 w8 l2 ]& y6 @
: h& @8 r8 S# v4 S# |
model = WhisperModel(model_size, device="cuda", compute_type="int8")
, U0 E+ a8 }. d3 e8 A
: R! M9 |, t2 R9 w
segments, info = model.transcribe(
$ r) L- Y/ p R' A' s) ^& d7 B
sourceFileName,
( B, _/ q+ h& I! \5 _
beam_size=5,
6 @6 t. F: r w# N" W4 Z* r
language="en",
9 Q7 b0 Y$ ?- T( B- [# f
task="transcribe",
" z8 l9 s8 o; f R* g6 l
word_timestamps=True,
- F/ F7 L8 ~& _- u; o
initial_prompt = "Hello, welcome to my lecture.")
# a8 g5 s* G& p j
3 i2 l! b3 D" X5 a4 y* p3 @- B% n& c
for segment in segments:
$ D$ L6 ]6 }. H# S1 ?/ J
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
/ X* R# I( ^- B5 T0 A# k2 t- t6 Q. @
0 b' U% h# I1 i5 s4 R8 `" j) }/ b
for word in segment.words:
- g5 P* D4 B) a# J6 F
: W2 @6 p4 }6 o& A1 j! }! d9 w
----------------------------------------
8 y. C" P. z- Y9 b; _
7 s3 W( C$ s. {- u% u& m$ }
代码说明：
4 r4 c) }/ G4 t. q' C$ b2 d
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
$ ]1 z* L( D4 ]
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
7 U, F4 ]$ \3 B
2，segment 本身是很粗糙的，做字幕勉强能用。
, J3 b& f6 q0 j% f
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
& j5 f' ?6 r P1 {6 A5 ?
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
) ]/ k5 v% n+ t
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
' y/ t3 [9 Y! u9 c# B5 n
5，model.transcribe 中参数说明：
- d% R$ Q, U `1 H6 b7 r
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
& T" |8 ?2 V- G. D9 A5 A6 P
其中
6 K# H4 s8 E$ S) I
word_timestamps=True,
$ e- X% a2 Z$ O" P+ L
保证了你能拿到 word，否则是拿不到的
) R8 e J3 S* z2 w6 e
initial_prompt = "Hello, welcome to my lecture.")
2 E* U* U( {! q$ B
保证能尽可能准确的断句 punctuation，但是不是决定性的。
* L4 C; D% F# {
其他参数可参考源文件：
! X3 m1 a0 Q2 B6 H9 G
https://github.com/guillaumekln/ ... isper/transcribe.py
+ x& @. s, M6 q3 F( r; C
152 def transcribe(
5 Z) q$ i: c$ _
从源文件你可以看到是支持中文的句号断句的。
2 p8 _2 S% r- Q6 \- P2 p5 z1 S
" H9 `$ o% L! ^" P$ [9 F+ F7 F
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
& P0 D6 a9 J# I* w- r
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
( d( P- O- f: x; ?
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
# p4 |0 V1 S2 M3 s1 Q7 j6 X
9 E2 e4 G9 z% T) m
/ {% a: Q6 V" J: Y' l4 t# X$ Q$ v
2 w* A9 W3 F4 J% p, P) j
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://aswetalk.net/bbs/)
Powered by Discuz! X3.2