爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
4 a9 j. L( k3 W) j
2 M* g) s7 Z& {& `% n
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
, k. ?9 |8 X8 E5 o* }. @% R
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
3 ~4 P$ v! @2 i, P- L5 i% Y
----------------------------------------
& k N) g {- h9 z- C3 D
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
3 L: {- k6 P5 p; w
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
9 R0 X& w: i& f1 R" _9 {3 _
----------------------------------------
]0 s7 ^1 k& s' _2 M
https://github.com/guillaumekln/faster-whisper
9 d) c4 g# ?, M
安装如下：
$ I# [( h& l' @: [! p
1, Windows 10
# r7 b8 B# d+ ^, z% ^5 O+ L
2, Python 3.10.11
: G6 p% v% L- X/ i
3, CUDA 12.1
: E9 A8 z) x: W9 _
4, 在python 3 中安装
( `. q% E8 v) L4 ^8 B. v2 ~5 Y8 v$ Y
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
2 u p2 _4 P9 H l+ p/ V
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
4 j; @( V( }! C# [, |* W
5，pip install -U openai-whisper
' R) d- A, W# _6 i; k
这是向whisper 致敬，可以不装
, D0 [& y! C# K! w2 R5 ?
6，pip install faster-whisper
0 c+ I8 f# P; }2 l6 R! r$ @
----------------------------------------
2 W8 }/ K, k) Q6 Q( ^
whisper 我用的命令行，faster-whisper 我用的是python。
% y8 H6 t/ U$ i4 z; y/ E3 |9 k
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
; h' |6 A' {- o/ t
. I% J' \2 s9 d5 Z; K# N& Q
----------------------------------------
) s6 ]% a7 W- s. Y8 c S
3 q: c8 z7 ~: k ]; [6 y# V
from faster_whisper import WhisperModel
4 C+ x! k, H1 P6 y9 S5 R! p
/ r& T7 r7 _* M/ u* A" d8 ~
model_size = "small"
& m" L0 }+ W% u: X" I
/ M2 c! m f, U7 o# a2 w
model = WhisperModel(model_size, device="cuda", compute_type="int8")
: e; P E2 S3 H) B5 g8 I+ G$ o
# H: R8 s- W g/ P% g
segments, info = model.transcribe(
% p0 V) t- `" L5 c8 v
sourceFileName,
' s) S* C" E3 E: R, [
beam_size=5,
2 w! H. J9 F6 I( [# [( ?- b5 U
language="en",
, H: X0 o% X+ W. G' g
task="transcribe",
& d4 x2 k1 D% q3 } Z0 U% ~
word_timestamps=True,
. u# ]. C% H$ Q: W! m8 x9 F
initial_prompt = "Hello, welcome to my lecture.")
3 ~' ^; K8 d! [( h* K! n7 X
6 Z& A, A: v" [! G' e0 T B7 ]
for segment in segments:
8 c/ E/ [# Q" |' ]' w; X7 X! d
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
+ w1 W; n( I/ d/ c& f0 p$ G: [
$ C$ n; y- `2 {: ^
for word in segment.words:
5 ?- g. _, X% q4 u( B
4 d+ U. I% k& g' k3 w1 x
----------------------------------------
, _+ f6 M" K0 m8 @; P
* z% u/ `4 k0 o0 u" C, [
代码说明：
+ _* K# W0 F' P+ Z+ s2 M7 g
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
/ }. y0 ?# x$ N
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
" O7 J& r, z4 J' S
2，segment 本身是很粗糙的，做字幕勉强能用。
9 D4 b4 D9 r" F- ], v! j5 c6 N
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
8 |3 y4 [9 V# _. Y3 r1 }
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
: ]7 d0 L2 K6 N
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
/ p o: [6 O4 R: {6 [
5，model.transcribe 中参数说明：
; @2 e# e- v' @6 G+ y! l
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
" r3 e1 t: {' C, O% g, C' X/ F
其中
! o1 k% k% `5 u% u8 f
word_timestamps=True,
3 d8 m! ^0 m! J, P- t5 P
保证了你能拿到 word，否则是拿不到的
4 T* f: ?" O. I( U4 b8 ~. Q. f
initial_prompt = "Hello, welcome to my lecture.")
5 q2 b/ o; a. n5 [. w/ H X! T- E
保证能尽可能准确的断句 punctuation，但是不是决定性的。
/ E1 {8 W! s: [* G+ b- F; _
其他参数可参考源文件：
: N+ D F+ }. y3 d, s/ W
https://github.com/guillaumekln/ ... isper/transcribe.py
: \/ p: }$ `% K7 s. a& m
152 def transcribe(
# `# {# f. b# I9 X
从源文件你可以看到是支持中文的句号断句的。
+ l f$ q) V$ U6 U/ T
) i' @% L5 c0 t' a1 e
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
# X; x S g* x( }. ^0 \
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
& }/ s H7 x2 _
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
3 t0 l* k! R! _
- H1 W2 w) T$ b
6 Q& D% g$ s/ n6 T! g
; u* K$ q1 C; {4 e* l. Q
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://aswetalk.net/bbs/)
Powered by Discuz! X3.2