爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
- y0 z% w4 i: u: N4 i0 q& y
# A4 ~0 a# v( G' N) \
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
X) d% F/ M, e' ?
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
1 ^ j: K$ k9 d5 M
----------------------------------------
- w3 E# m: |7 \( X' f
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
# f, K) {$ I2 e+ v3 ?- I. z
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
8 h( f+ W d" L, F- F2 R9 j( f
----------------------------------------
$ D8 @/ U7 E5 t3 g
https://github.com/guillaumekln/faster-whisper
' k; g1 X6 K) T7 z- h4 A* t" P i/ W
安装如下：
! \) O8 J$ Z% G2 N" N7 g
1, Windows 10
. @8 D7 H1 Y" v" O! l
2, Python 3.10.11
" H& U) {" K8 F& `# d3 y9 i
3, CUDA 12.1
! f- j6 e+ ?% c# w, c
4, 在python 3 中安装
( l- @! X0 l6 j5 ?
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
9 g. [# |$ I4 d' ] y; e
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
6 _- ]: ^2 B% A
5，pip install -U openai-whisper
# B9 y& a, \4 v$ E- Y
这是向whisper 致敬，可以不装
; w4 H( w( K- q# |7 q
6，pip install faster-whisper
7 g& i3 q5 `; w8 x5 Y0 R
----------------------------------------
, E9 f. t' N: @; F6 A: Z
whisper 我用的命令行，faster-whisper 我用的是python。
! w1 D- e. O0 e- ?8 ]3 R. X6 q
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
$ T& W6 g2 i5 ?! t& O
4 x3 T$ g+ i! ^( G, n5 Z
----------------------------------------
6 {" p/ Q& V G! R y
! F, O% w9 z7 o- U' ^4 C: c) b. O
from faster_whisper import WhisperModel
" e6 f: p7 j; a6 D4 Y
; @9 l/ j& c' ^ b6 [, M/ ~5 K: w
model_size = "small"
8 [) ?; } f: w- i8 d- X5 i
8 H! U( j# H1 u7 @2 o
model = WhisperModel(model_size, device="cuda", compute_type="int8")
6 E) A5 z+ k+ d& B& B
i2 n7 [3 W; y1 i" W2 N* R. C4 v! ^
segments, info = model.transcribe(
B- T7 P/ L8 i6 j4 r: s
sourceFileName,
: `% p3 B! |2 r) }, s$ k6 m$ Z( U
beam_size=5,
: q. `* ~: n0 ]( k$ z4 O
language="en",
1 k. s" P5 G6 u* u* ?3 ]3 u
task="transcribe",
" {- ~& Y! h& C* Q# C
word_timestamps=True,
2 X9 S5 T8 c- b* l9 G( q) l
initial_prompt = "Hello, welcome to my lecture.")
: Z% p: r; O* @8 W* t
" c" {- k' ^. p3 v; ^- a
for segment in segments:
6 E! g; q9 Y) g; W8 v! ~" e
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
7 O; Q3 X3 G. X
' w5 x L y7 {: H6 E
for word in segment.words:
9 Q" a) x# s8 f9 p% g' X
" ^6 @2 G2 l* |$ Z( V9 Y G2 j
----------------------------------------
. _5 `) C" I9 B( d3 E! w
* d8 m. A% r! M+ P5 x1 q
代码说明：
1 A1 X W9 y1 Y, Y- e( f
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
: n. h& t$ D% I1 S1 J7 H) s
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
* o0 T; I4 ?8 p7 y
2，segment 本身是很粗糙的，做字幕勉强能用。
; L5 M+ l+ A+ q& X, L
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
% @/ p$ \ S8 @
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
0 C, @/ k* s6 S
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
( R; T: g0 h3 g8 c$ K) v1 _6 X
5，model.transcribe 中参数说明：
4 [7 }1 F# n0 S; B, i( S; N8 c
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
* x# Q( R9 o3 K; \
其中
( S/ D' D3 e: y3 g
word_timestamps=True,
1 Z) n0 ^ k- G) `# V* d, U
保证了你能拿到 word，否则是拿不到的
6 ?8 j" Z" O: |. h7 C6 l
initial_prompt = "Hello, welcome to my lecture.")
* Q4 a) H( r6 z
保证能尽可能准确的断句 punctuation，但是不是决定性的。
5 \5 V1 {! S/ k! p
其他参数可参考源文件：
+ S' K$ G# Y! @+ M
https://github.com/guillaumekln/ ... isper/transcribe.py
. @" ~1 Y# p$ l& |( E
152 def transcribe(
2 C, x+ z* k4 ^' J; [
从源文件你可以看到是支持中文的句号断句的。
- w+ _) Q0 u( P1 b/ [9 f. u' T
. n1 z/ r- v- `) C9 h3 p9 D3 y8 E2 K
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
8 C1 l6 n9 T/ N5 j
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
R5 u9 t2 |2 k- v1 z0 {
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
7 |# [8 A3 r- F0 L( s8 B
2 [3 u/ A; w5 Q- ^) Y2 j) E L
1 E7 g& |/ U9 V5 T
$ H5 T- r/ h: l. c( F
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://aswetalk.net/bbs/)
Powered by Discuz! X3.2