爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
! F2 e3 Y# C6 y4 S" u& v! H
" w4 P( S' R5 N
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
& s/ p* M- x1 ^4 [
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
9 l5 V( x; y/ V5 R; k1 L$ B I0 i' G: }
----------------------------------------
& q; c" R& H0 t; N* H$ F
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
* S$ M, E8 t4 K# T; v
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
/ g/ W- \5 H( h0 b. E. p
----------------------------------------
: f! c( O) D5 O1 C0 W
https://github.com/guillaumekln/faster-whisper
$ R2 T! ^* T- }1 w
安装如下：
. d: D+ p a! H, F0 P3 _
1, Windows 10
' s) `+ V3 j% A7 |" o" [
2, Python 3.10.11
( |! m2 _9 C4 E+ H
3, CUDA 12.1
- n! u `1 V$ H
4, 在python 3 中安装
. w o! x# _* ^2 D# q4 P& i
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
# @0 i3 n, \ c6 `( L& p" H
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
" u4 u* ^4 R! j
5，pip install -U openai-whisper
8 `8 T4 l W; Z" I, d v
这是向whisper 致敬，可以不装
: S0 T1 }, t! ~
6，pip install faster-whisper
. [+ J6 z4 p4 w- Y$ m, K
----------------------------------------
% U+ q0 m0 C. Z% Z
whisper 我用的命令行，faster-whisper 我用的是python。
8 S3 u* F H3 Y" B: A" }. N
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
) P! r3 I% n) D. W( E, ?
# {" R: P1 Y' I% O$ V' X% Z1 w) m
----------------------------------------
8 i6 `+ A+ \( h
$ R- o# k. Q6 }$ p9 H# e6 j; H
from faster_whisper import WhisperModel
. H0 e0 q& K7 B/ a% P& t
4 p6 C b+ x. {' _7 |- F
model_size = "small"
. _; b! E) j1 r% ?$ \* [
( Z/ k. e% ^0 ?. d
model = WhisperModel(model_size, device="cuda", compute_type="int8")
! B% `* T2 x m9 T7 R# z
9 f' E7 P. k& G4 B% {) g' B$ a
segments, info = model.transcribe(
. m8 }4 }; z0 C; l/ n
sourceFileName,
* ^& f+ z9 m/ s0 r% j# X6 k' z
beam_size=5,
& P- K$ s1 @5 r" `) ^
language="en",
7 r3 j7 T# Y3 a( f
task="transcribe",
; @8 ^ e' r6 o
word_timestamps=True,
6 }) P7 b$ q8 {5 y# P
initial_prompt = "Hello, welcome to my lecture.")
& r& h4 `, V U/ s' _( u
5 g9 x! K9 Q6 Y1 X8 m8 P
for segment in segments:
4 _7 o4 G( I7 q$ v
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
- c9 i, ~( E* A$ y1 M }+ z: ^& b' a
# w8 L1 E) f9 Z: J* U6 v8 f" f
for word in segment.words:
" L! ~2 k5 j, [
; O- p6 Q2 W) u8 [2 P: u
----------------------------------------
, P+ Q# p4 Q7 H8 C3 l! [) d
3 }# c/ b/ {, ^: w7 b
代码说明：
# n5 J3 a4 d: Z6 N1 A# B
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
5 w: J! @9 i+ b( H
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
: \4 L. x5 ]" v( S
2，segment 本身是很粗糙的，做字幕勉强能用。
& k' l$ D- E, j' q5 a* G3 ^
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
/ v9 l! G" K4 } H
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
U6 [$ h4 v& C1 i+ |, M7 A
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
3 Z$ g4 y2 k' C/ s4 h7 ~5 q
5，model.transcribe 中参数说明：
" _2 @5 z* v' |( N+ @- k
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
2 ^$ Q8 ^, i' E) [6 h0 m8 }% u
其中
; T9 Y; |& ^6 B" C1 m
word_timestamps=True,
6 l( L9 M! J; N6 O# c6 s
保证了你能拿到 word，否则是拿不到的
4 p- \) U) L: a$ [5 x
initial_prompt = "Hello, welcome to my lecture.")
/ M% m% {) _5 ~7 r/ ]9 j
保证能尽可能准确的断句 punctuation，但是不是决定性的。
( f. B/ ^! ?. e- l* k3 |
其他参数可参考源文件：
0 w) ^, V* \2 R5 D* |
https://github.com/guillaumekln/ ... isper/transcribe.py
; F3 W1 P0 S7 a
152 def transcribe(
, }2 m/ C9 z0 G4 k5 V
从源文件你可以看到是支持中文的句号断句的。
% b; D) F3 n; U T
' c7 c7 O3 P Q6 Y
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
. }% s1 g1 ~: N% S
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
& r- I. O* z, }9 Z4 i+ O- _- k* l
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
7 y; I) l% s) {, k3 K
# h W- ]! K" J" a$ C1 L* A8 {( W
/ C g/ e& t, n0 J# y, ^
3 q* f9 h, f+ u+ Q, ^
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://aswetalk.net/bbs/)
Powered by Discuz! X3.2