爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
4 A7 t" ?& p! l
8 h5 i. s+ F8 f
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
7 Z- P6 {5 M. t
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
4 c; E6 O3 n9 q4 F. q. k
----------------------------------------
& H5 r& W4 g; y" L8 ~
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
6 f1 q) G; s A. [" r! ~
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
7 D4 w, X3 y! v" l$ X6 \" P4 ?: m
----------------------------------------
' s: G) [0 B0 |4 C
https://github.com/guillaumekln/faster-whisper
& w! B3 I6 F2 ]$ o- G- |6 P2 t
安装如下：
5 p3 y9 g) E- z3 j. |
1, Windows 10
& ]5 ?: L1 O0 m \& y
2, Python 3.10.11
8 F% M6 R: M9 Y; u2 O
3, CUDA 12.1
. U! d8 R) v% A" ]4 x; C; W) ^3 U
4, 在python 3 中安装
l$ o* j; S) B7 {+ a2 x9 |8 ^. {
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
* ^# Z X+ |* o" L; |- ]
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
+ E- l, y7 o) V" }4 @
5，pip install -U openai-whisper
6 }) ]. h8 N2 A c
这是向whisper 致敬，可以不装
: _! x) k7 a+ n7 A' E: Z8 r% O
6，pip install faster-whisper
& ]/ X9 a1 r! x% i. r; F3 Z
----------------------------------------
3 k& Q/ d; \- M3 Z
whisper 我用的命令行，faster-whisper 我用的是python。
% X) ]0 s" I% n: \# y4 [# }# ]
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
7 D. ?2 g8 `; I, T9 n
- ` p( G, V, d7 h5 _& _
----------------------------------------
! e; I6 I9 ]! ~
d( Y7 T" [7 {/ g' C# _
from faster_whisper import WhisperModel
9 G: q! H- y) e$ I/ y
. P8 [1 k2 K/ H4 `9 J, b$ j
model_size = "small"
# Y% p& I: V& m# ?5 t0 O/ T8 `
6 ^2 b- p% z+ o* }
model = WhisperModel(model_size, device="cuda", compute_type="int8")
+ Y6 P, S! f t9 A: e* d6 _
2 \5 }" p* x4 s( ]& V# j
segments, info = model.transcribe(
7 n1 e+ E% S6 g6 b9 f3 k
sourceFileName,
$ @4 ~$ g$ ?8 i1 j( L# b
beam_size=5,
/ b! ]9 k$ ^6 Y' R; V Y5 P# ]
language="en",
& t q8 s R% e' |( `( W' `' w
task="transcribe",
" k$ m' ~5 [7 ]
word_timestamps=True,
Z9 u/ W1 ^4 v) w5 P
initial_prompt = "Hello, welcome to my lecture.")
, w. V( u5 \ H
1 N" b* @. n8 _/ u& u
for segment in segments:
( e; k5 V% Y8 F0 o5 r$ S
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
3 A3 c& b w+ c2 s( K2 M5 A
8 Y( \8 g/ ], ~) ?" r- m j
for word in segment.words:
9 W- K6 C" c! P
( P# U0 J, T+ r, p2 a x' o+ f
----------------------------------------
_' h2 H8 Z* e
% y5 b& w5 D2 J0 R! l! a
代码说明：
' Z; C5 y7 ^6 N l7 \
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
) P0 F0 c% c) U# B9 t
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
- T8 Z" p: _7 m5 O) o
2，segment 本身是很粗糙的，做字幕勉强能用。
- H6 Q- k7 S' U
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
8 x9 E% B& b/ {- n5 O0 h
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
- L& A6 H b+ M; t' V# m
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
! w) S( U. L5 f3 K
5，model.transcribe 中参数说明：
/ j3 ^0 r. V# G* z" s8 w4 x/ S
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
% e* i8 ~7 \0 H8 R/ V1 p7 N; L
其中
9 |( f f9 z% W. t8 j6 C
word_timestamps=True,
0 D4 [+ B6 k( h7 m( S
保证了你能拿到 word，否则是拿不到的
/ _/ `- m* R* B& M
initial_prompt = "Hello, welcome to my lecture.")
$ ?: t6 m! V# z
保证能尽可能准确的断句 punctuation，但是不是决定性的。
/ `% n7 h* R; d0 G, N& u4 \. @7 `* ~
其他参数可参考源文件：
% `+ Q1 N6 ~; q+ O
https://github.com/guillaumekln/ ... isper/transcribe.py
8 V) V+ U- i0 ?9 v4 z" a; @% ^
152 def transcribe(
5 ]9 r) v! m7 l
从源文件你可以看到是支持中文的句号断句的。
! S# Z7 b; e! @/ b9 Z
' t4 G2 I& M1 n' A* P
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
5 a6 K, `$ M1 O1 i; }( E
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
5 T+ A% e7 s* o/ @9 l
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
n t: f9 f) ^% B
4 n6 E6 a4 C6 _- n* s
! r$ M2 C. v$ W( M) q8 l
5 S3 E8 s) k. H' _
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://aswetalk.net/bbs/)
Powered by Discuz! X3.2