爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
# ]( `0 U. d" a, V; [( Z2 ?
, u! p' w2 n' q
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
4 j: U3 f' N0 A! K3 W
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
) @* \( L6 X/ _6 M2 Q* x
----------------------------------------
1 {: ~' z, Q! f( U
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
6 v% E- Y: D7 l6 _$ Y. H
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
" U9 q- M" g: N& s+ f9 E( r
----------------------------------------
( Q( @ L6 w+ [, O$ j* X$ X+ Z
https://github.com/guillaumekln/faster-whisper
$ g! J# m& l% H1 F8 Q1 p/ u8 [/ w) }
安装如下：
e# d5 q+ R: o0 n0 [ |6 z" T
1, Windows 10
3 j L3 R) I9 P' T+ g
2, Python 3.10.11
' ]) k; ]6 }8 V4 r
3, CUDA 12.1
, E( s9 Y! G# M. f
4, 在python 3 中安装
' N7 w( l7 e8 F9 b s1 f' Z
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
" |, p# C+ m1 |+ q" J
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
7 i# m4 r6 ~ K8 ^6 ]
5，pip install -U openai-whisper
$ {/ I# y% B, ^$ j7 V# z4 r& ]
这是向whisper 致敬，可以不装
h/ C; g' L, ^$ S6 s8 o A. u
6，pip install faster-whisper
9 k* x9 Z* j8 v# f4 ?4 Q1 l. |
----------------------------------------
% f+ H" k$ D* P+ p* { d
whisper 我用的命令行，faster-whisper 我用的是python。
: g2 _6 B& E& N- I! T9 g$ b5 ?
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
: Z0 h% c- y4 O0 D1 E
5 |) L8 A. C) v: T
----------------------------------------
k+ l4 Q! B% Z0 }
( v ~* [! `$ [, v) R2 I% H9 Z
from faster_whisper import WhisperModel
, t7 o" R3 E8 N; W5 f" b" _
/ L% G& |+ T4 r+ T4 I
model_size = "small"
9 {* }. O% Z2 w' I
/ l5 b. O1 x' Y' h8 f& e
model = WhisperModel(model_size, device="cuda", compute_type="int8")
! m! L' P6 O7 h
* J& {/ i- @7 N# F" P. v
segments, info = model.transcribe(
. d3 _ C" K2 b
sourceFileName,
F& }2 I6 U2 R% [+ w
beam_size=5,
# j. j3 a! v! s+ A. g" T
language="en",
! ^+ [8 d3 N' }4 P5 E- P. u& O
task="transcribe",
) K$ u) p, y+ j: `' ~$ B
word_timestamps=True,
/ k3 {. R% ^- W& p
initial_prompt = "Hello, welcome to my lecture.")
; o5 K; I( p' J
/ N9 j! e3 x$ s" C/ W
for segment in segments:
# K+ t. N0 g1 i) o" G1 b$ S' O% q
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
1 L3 l! m) J4 [3 P
8 G/ z& f% T! e5 Y
for word in segment.words:
. C+ Q: ^' T5 y/ c0 _8 y: _6 _
) n& N X! s+ _$ P* ^5 f" c5 ]
----------------------------------------
2 ?% z3 C. o6 w d
$ B8 k6 W0 w" G/ O
代码说明：
l1 }1 V0 B H+ y( Y
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
3 _9 C+ N6 m9 |' ?0 L: K
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
* m/ S# g2 u9 ?' B( B( X
2，segment 本身是很粗糙的，做字幕勉强能用。
5 [9 n, w5 y. z, ~
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
! J& [# l% Z# F& L: z
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
( E: |* \1 _: B+ x
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
) t0 S% \+ L R! |5 f8 C0 G
5，model.transcribe 中参数说明：
, G( M4 g- C+ I- E/ g" f
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
. U) D: n( |9 E" |( z; }
其中
2 j: D8 [$ a$ R1 P, Z
word_timestamps=True,
7 C1 q7 a$ C9 ]( |' a! n
保证了你能拿到 word，否则是拿不到的
; ^9 a+ T9 ]/ k4 H
initial_prompt = "Hello, welcome to my lecture.")
6 T6 @: Y" |) V
保证能尽可能准确的断句 punctuation，但是不是决定性的。
, ]) e C) s# W9 L( Z& x6 J
其他参数可参考源文件：
: l3 A* Y6 p' f- r
https://github.com/guillaumekln/ ... isper/transcribe.py
4 n+ }% o7 u E, B+ X0 [
152 def transcribe(
! @7 L& W2 Z R7 Y
从源文件你可以看到是支持中文的句号断句的。
5 b' ^/ r$ v/ B
% y+ N8 G0 E4 G% F+ Q/ E
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
) E: l5 e8 J- f2 P* v5 f7 E
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
5 n. e( J1 O2 Q& }
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
4 Q5 W8 E9 u3 D l. }( O0 K# V4 P
1 ]. @5 l; }% Y5 f
t) Q. m. L2 {' B3 W2 [/ c4 t2 d
7 `7 s/ w' N6 \+ H# E; H
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://aswetalk.net/bbs/)
Powered by Discuz! X3.2