爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
, W4 Q' |' J1 ?, E3 a; n% v3 S& K
1 I1 g4 w- ] z: Q
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
2 w4 Z' ^1 m& p, O
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
3 l- J7 z9 s/ \' y1 b- M$ D
----------------------------------------
& q. l g4 c/ O9 W
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
: D J1 F: K6 g# S+ h
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
h% T( f! C, R. [2 p8 l
----------------------------------------
1 g# N8 }9 n$ l7 u
https://github.com/guillaumekln/faster-whisper
# H; v7 U8 e# h5 x
安装如下：
, ]6 r: E9 v2 I/ F
1, Windows 10
4 y8 r2 V; P+ t2 d, g
2, Python 3.10.11
+ M: @9 d- T3 s+ B( Y5 w6 d
3, CUDA 12.1
y3 D2 N1 _) _ M
4, 在python 3 中安装
, r6 T# k! l# L2 q
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
, D0 H2 g3 J' d- Y0 `; [1 b3 T
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
" Y+ l/ w. _0 h
5，pip install -U openai-whisper
* k8 F) @! q$ B% E2 G' p
这是向whisper 致敬，可以不装
1 ?/ z$ z/ B, a; u& w' [
6，pip install faster-whisper
8 R8 z% H4 R3 H K$ g, X
----------------------------------------
4 r3 r7 n. k* L$ P% A
whisper 我用的命令行，faster-whisper 我用的是python。
; d' o: G, Q' D& s3 g
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
' P4 A, l, e! e, P9 y* K. \+ j
$ Q) N9 }( ?+ y% _$ Y( W
----------------------------------------
' F& Q$ L" T$ e8 M7 u
# t7 W" R3 F/ \! j% E
from faster_whisper import WhisperModel
L# w& a% z8 W7 X) U
- Q6 m8 o$ f$ K2 V q# n" \2 v/ I
model_size = "small"
6 s! _# y: q) D5 L* o
# F) u( y$ {' \; W/ y2 j i4 H
model = WhisperModel(model_size, device="cuda", compute_type="int8")
1 {# Z. o9 Y) v: _' I# F
* d! B& q: M W% _& l
segments, info = model.transcribe(
# y! W* U: R0 d/ {; G' O! @, n
sourceFileName,
h' ]: e9 b+ n9 Y& |; c, }+ b/ Q
beam_size=5,
6 O0 ]* F2 x# ]% |% ^# j J7 K
language="en",
; c) Y/ h! e3 u) T" f
task="transcribe",
( v4 J" g6 S9 s5 `" c
word_timestamps=True,
$ I0 z/ t% |9 K$ {* @
initial_prompt = "Hello, welcome to my lecture.")
5 e3 h) @' U6 d3 W/ o$ D
" r1 O- h( w& R
for segment in segments:
+ h5 ]$ U2 h1 h/ i
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
$ u5 w/ e; ]% `! n7 E( j" @/ H
% g6 ]1 U& b) p8 I7 j% r# h# E
for word in segment.words:
& D3 {; r* a* l' J! k
+ h, v4 u$ J7 O" X0 v
----------------------------------------
O6 c5 a9 \: c! i% }2 i
9 m8 d. O! x: X; K
代码说明：
/ R% Z' |2 t7 M4 X& u1 `, I \
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
, G {+ s; f5 [* x4 z
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
; U i7 z; U) ^6 s4 x
2，segment 本身是很粗糙的，做字幕勉强能用。
$ n: A7 h) I* A" N6 @; k
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
( R) T) |) e% T0 x5 ?# m7 p
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
2 R) }5 s/ b+ c4 R4 q" {! g
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
' C6 o: M( n S5 _$ d
5，model.transcribe 中参数说明：
+ L+ k" s! r- T4 y! R( S
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
+ u H! @) O( v0 V8 v
其中
( |2 H1 x6 K) F. \1 D- o4 d) B. I
word_timestamps=True,
0 v# z5 X6 @ o1 z/ p
保证了你能拿到 word，否则是拿不到的
$ B6 a6 J1 Z$ e1 t
initial_prompt = "Hello, welcome to my lecture.")
P: p4 N/ x# `6 p; Q
保证能尽可能准确的断句 punctuation，但是不是决定性的。
' P' b% e# P& H1 i4 I
其他参数可参考源文件：
; \* d5 O" p3 y& B0 S8 q0 x
https://github.com/guillaumekln/ ... isper/transcribe.py
3 b: O L$ h, d
152 def transcribe(
" B$ [0 Q8 u( ?6 z
从源文件你可以看到是支持中文的句号断句的。
" w- u& @) X9 ~& y; o
' p. |$ x) ]1 | s% h. i* j) n
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
1 n7 v7 f5 ~) g) y
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
2 J; }$ e u6 m: p+ j7 n. u
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
0 H6 N" e! v) f5 }, m$ B! _
& H$ L, N+ n# G4 ?( _- \
) J) Y7 b1 |+ _1 a$ m. q% `
) k, Z* ^: K, S; `5 y
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://aswetalk.net/bbs/)
Powered by Discuz! X3.2