爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
* G$ A) P' n* |1 G; y( y
- T3 [2 b7 ]6 L& k3 _' _
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
* u2 D5 t. T: I/ v* w
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
3 x1 F* z* F+ w `) ]
----------------------------------------
; ` N! u& H# w: Q3 C6 L7 q
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
5 B! j0 J! K$ v" D1 `* Q
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
4 L, m. M' {7 v% f0 r s$ l0 ?- e5 i
----------------------------------------
# G6 l# ~% F- l: |4 j+ r; a6 L
https://github.com/guillaumekln/faster-whisper
' ^9 Q; m" n8 |$ h
安装如下：
: b& X' g! v$ u
1, Windows 10
- `* y2 Q$ Q F6 c1 ]6 M
2, Python 3.10.11
2 S6 Y( B4 a3 G4 N' H
3, CUDA 12.1
9 P) [/ r7 B8 `2 h
4, 在python 3 中安装
4 P' J9 l: _; O3 C/ h
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
9 |* d9 M- W9 a: l4 {% b+ L
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
K; s! T3 N V4 P& h: R/ _& D
5，pip install -U openai-whisper
( i8 H" Y6 y8 f) v- A/ K
这是向whisper 致敬，可以不装
v- P4 r* ]% O" K) z
6，pip install faster-whisper
: b. R/ B4 D" }! Q2 |8 R1 I
----------------------------------------
# K' d% h+ a I* i: g/ F5 U
whisper 我用的命令行，faster-whisper 我用的是python。
8 ?) r P5 x0 C0 [ \3 W4 D+ H9 q
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
5 a3 X2 B; R, R3 {7 I3 C% A
; n; V4 M3 L+ X2 x3 S0 G/ s
----------------------------------------
! F9 e. B, X; u2 `* V! x0 T
: Y% I6 l, g) P \3 N# _+ g
from faster_whisper import WhisperModel
( Q4 ]) j, ~" x$ G! ~$ D" H+ P
9 |9 n: w9 J! G Y/ P1 f$ `5 n7 {0 ]
model_size = "small"
9 ]0 e8 N1 W8 G! R1 D$ W
; Y# S0 k& r% `4 Z, g7 I# s
model = WhisperModel(model_size, device="cuda", compute_type="int8")
/ Y9 a* ^) M* g' S$ x; o" R
) u, ~) k v/ b. K& p
segments, info = model.transcribe(
0 e9 i3 p9 ^9 y( a) k. f
sourceFileName,
4 z) s9 H3 T+ U( k: s" w- W0 K
beam_size=5,
, x" ]9 b$ G% U
language="en",
1 u1 h; z1 U" z
task="transcribe",
$ H8 Q+ Q3 G5 a) B
word_timestamps=True,
' d) @# P" L( f, L
initial_prompt = "Hello, welcome to my lecture.")
4 Q# f/ _% y" U8 \8 D9 n. b& @ ^
+ i, C( J1 Z( X
for segment in segments:
9 Z. K# c; j( n: w
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
7 C8 w* s# U3 ?$ y: k
( h; M& E$ |! y; ^' ~
for word in segment.words:
' g1 F0 Y4 S& h. S7 J4 M- h8 N
+ X; ]# \, ?% r; }# \; k
----------------------------------------
. Q( g3 C+ l1 Z0 n, t
- m2 B/ W+ X- I$ Y0 Q( ~
代码说明：
& C) B2 b N2 N5 t: e: r
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
6 p+ ] g0 `; ]& W. z- ~& Z' u
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
8 A6 Z* F) ` A8 r' q0 L
2，segment 本身是很粗糙的，做字幕勉强能用。
0 o7 B5 }9 [4 X! ?: A% _$ I
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
/ p, o4 r3 s' J- x1 X; Y
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
" n5 a; u" q9 o* ?3 J
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
2 f0 H2 F' R w$ l3 y9 g
5，model.transcribe 中参数说明：
0 q) r( f7 C) k& [# u
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
2 K/ @, R% Z0 \
其中
+ b4 [% H) b* |+ D9 ?4 h
word_timestamps=True,
: |+ L0 u9 K* G) I- ^) w' N
保证了你能拿到 word，否则是拿不到的
9 _) |, {* G% O4 g% P7 X
initial_prompt = "Hello, welcome to my lecture.")
5 G r% W i; o( [1 [; T- C. @* g
保证能尽可能准确的断句 punctuation，但是不是决定性的。
3 `. c. v9 A( \ ]6 a
其他参数可参考源文件：
, b: {* `* v9 W" I2 w" l5 J+ c
https://github.com/guillaumekln/ ... isper/transcribe.py
6 g0 a/ r0 g8 J- [8 `, k6 x
152 def transcribe(
' q4 Z$ }3 n" D, Z. {, n$ |" ^, z
从源文件你可以看到是支持中文的句号断句的。
- r+ x! q# b( V/ V
+ ]. j0 B9 Q) P; L' R6 u
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
9 A4 {' q# Q( D0 m! j
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
/ ^# `7 C& y* y z) f8 S
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
: @9 i) Z& d& y+ H
" D( h' E G1 k1 [6 D6 k8 F
5 _/ g3 x" I3 I: B8 x
) c# o6 N4 J, j; ^" U. z) q
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://aswetalk.net/bbs/)
Powered by Discuz! X3.2