爱吱声
标题:
faster-whisper 更快的语音到文字的识别 ASR
[打印本页]
作者:
nanimarcus
时间:
2023-6-4 02:10
标题:
faster-whisper 更快的语音到文字的识别 ASR
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
5 }$ I/ k8 y# }. q, A: _ ]9 L
: T9 O8 \0 b9 b) D9 ~* R0 K
借着 chatGPT 这股热潮研究了一下 Whisper，学名叫 automatic speech recognition (ASR) ，就是转换声音到文字的。
; d. i3 A6 U/ c
效果我是很满意的，唯一不满的是速度，在六年前的主流显卡上基本上是一倍速，基本上只用在自己特别喜欢的媒体文件上了。
1 P0 J; g) x' P: E
----------------------------------------
. d% `: z. P: a0 ]0 v& n8 x
显然不满意的不是我一个，活雷锋很快就出来了，名字很谦虚也很霸气 faster-whisper。
' ^/ \3 }- L% \1 Q5 D8 z
在六年前主力显卡3G内存上，model small，能跑到12倍速，这个是相当满意了。
, ]( U9 z7 A" T o8 M
----------------------------------------
2 q( Z7 T" z, s0 L$ K2 b1 z
https://github.com/guillaumekln/faster-whisper
U# y( C# J: ]* f: L
安装如下：
4 G9 L) k9 `' }; \
1, Windows 10
3 i* t0 ]+ B. s1 O, W, J
2, Python 3.10.11
7 U5 S- a0 Y1 Q) ?% a! [9 x
3, CUDA 12.1
: v* _4 d) A! n5 Q: s
4, 在python 3 中安装
" p& I+ D# K% U& V8 |
pip install setuptools-rust torch torchvision torchaudio --extra-index-url
https://download.pytorch.org/whl/cu117
0 Z) h2 {/ H8 k5 p/ B
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB，如果没显示，你得检查一下你的环境。
. T% G- m! r6 ^8 R0 ]$ J
5，pip install -U openai-whisper
: W6 O! I8 m4 ?8 J* j* ]
这是向whisper 致敬，可以不装
+ p& z7 r3 ^* I' Y6 ]2 J- y
6，pip install faster-whisper
. E- b7 x( G* m( S
----------------------------------------
6 Z" [9 Q3 i s* P* v3 x+ A( g+ b( R
whisper 我用的命令行，faster-whisper 我用的是python。
6 i3 q( _4 A8 O# |
下面给出了部分参考代码，根据主页上的参考代码我做了修改，但这个不是能运行的代码：
8 D2 V2 v- Z( O. K0 Z& b7 s
1 S4 _: D. c ^- F) j- p
----------------------------------------
5 C% ^7 R7 G+ Y1 d6 v
2 r7 v2 k% b: G
from faster_whisper import WhisperModel
- A# _! ]( s g9 b. y2 u4 a0 ^
# p$ u6 }( I! ?- b5 m0 h) h
model_size = "small"
% `2 u1 R4 V. T% ~ Q! O6 u
0 l; C4 V( W; G- L" X r
model = WhisperModel(model_size, device="cuda", compute_type="int8")
* K9 t6 f2 g+ ?+ @: |9 k
5 z7 H1 `( _4 T/ \
segments, info = model.transcribe(
; W) T8 Y" a' n$ f3 B& z
sourceFileName,
! S/ X( U: O6 c! D
beam_size=5,
3 v0 d3 t( `1 @+ ~3 W5 W. q
language="en",
4 v$ t0 P. t3 y8 O& ~! N- ?
task="transcribe",
/ \7 D+ X8 \# [! [7 N/ }
word_timestamps=True,
% n5 S( G; K5 Y1 Q$ G! f$ |# E" S
initial_prompt = "Hello, welcome to my lecture.")
6 _" Q" A. D: _3 W( \& Y
s d8 r* c2 N0 O6 i/ Z' f
for segment in segments:
6 x( z3 \9 s$ D2 G7 E" {
print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
" l5 x: n u' W( K4 d( R
9 Q6 D5 i2 @$ ]0 B: W
for word in segment.words:
3 J+ g) G3 w$ P7 ~; J
+ t: l3 {6 Y5 l8 V
----------------------------------------
3 x6 t$ r' i, ?: B' _! @
: |9 P6 X8 i/ w! T8 M
代码说明：
* S0 Q Y$ m% F [. l
1，model.transcribe 只是建立了模型，并没有运行，运行 是从 for segment in segments: 这一句开始的。
% U5 a8 h: [) Z- B- p) z
但是这一步很重要（废话），我的程序有时候会无征兆退出就是在这一步，没有任何错误信息，倒是Windows 侦测到，但也没给出有意义的信息。
0 T8 Q' y- x" g7 h3 I
2，segment 本身是很粗糙的，做字幕勉强能用。
0 ?; l% x2 N$ e* K3 c
3，word 才是真正的精确控制的，本身带时间轴，所以要做比较好的字幕，必须用到word。
$ @1 Y. p8 j3 V8 t: [
4，word 里面是包含标点符号的，也就是说标点符号不是独立的，是附着在前一个word中
0 w8 T9 \# N. s& F
比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
" t+ q. _3 s: P& `2 d$ j
5，model.transcribe 中参数说明：
$ |. p& M$ c' f1 f( I2 C
你要是对 whisper 的参数有所了解的话，基本上这些参数就是对应whisper 的参数
' M' |! J- j: b$ h
其中
0 }2 ^. I8 c$ _, L4 J
word_timestamps=True,
3 c3 `5 G( V% P$ f" d! \% F) O! S
保证了你能拿到 word，否则是拿不到的
5 w+ w3 R% D6 a! N# k! ~' ?
initial_prompt = "Hello, welcome to my lecture.")
5 B! G0 ~- w/ U9 |3 C# D
保证能尽可能准确的断句 punctuation，但是不是决定性的。
7 b% ?! u( ]* w4 U! @0 v; |
其他参数可参考源文件：
# `+ N0 B7 Y7 ?
https://github.com/guillaumekln/ ... isper/transcribe.py
& V; X: x2 i/ @
152 def transcribe(
) m4 r; R- C8 V
从源文件你可以看到是支持中文的句号断句的。
8 @, Z" H9 ?( l# l& s
# `! N. D& F7 N" m9 [
6，如果要尽可能准确的 punctuation，根本办法是用比较大的模型 medium，或者更大。
2 S' f2 \8 ?6 b9 Z7 V! g
7，我自己观察一个小时之内可以保证断句准确，再长就很可能不行，所以我的办法是切割文件到一个小时，识别后再聚合，效果不错。
+ c2 K# H% O1 Y# B) f* Q/ J
8，faster-whisper 会上传一些信息，检测到不停的使用网络，曾经有一次代码出错就是访问网络，你要是有洁癖就把网络暂时给关了。
: k+ e! i+ B$ y
' z9 @; c8 x! F) a( b/ I; F' u( Z
$ w; A9 D- B' s& A8 c( J$ R6 H1 J
- E& n. j2 \2 g; H' }9 @
作者:
nanimarcus
时间:
2023-6-4 11:53
多谢各位榜爷打赏。
欢迎光临 爱吱声 (http://aswetalk.net/bbs/)
Powered by Discuz! X3.2