设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 5719|回复: 1
打印 上一主题 下一主题

[信息技术] faster-whisper 更快的语音到文字的识别 ASR

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2023-6-4 02:10:18 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑
. E/ F" G/ d2 V, d" l0 S1 H1 S8 ^
& x0 U+ j7 R& f& ]借着 chatGPT 这股热潮研究了一下 Whisper,学名叫 automatic speech recognition (ASR) ,就是转换声音到文字的。- U( L4 n  T% k: u
效果我是很满意的,唯一不满的是速度,在六年前的主流显卡上基本上是一倍速,基本上只用在自己特别喜欢的媒体文件上了。( s, }& n3 P8 z3 k9 ~
----------------------------------------3 A8 L0 e/ g# U# r
显然不满意的不是我一个,活雷锋很快就出来了,名字很谦虚也很霸气 faster-whisper。( \) f2 |9 E4 I5 l/ H/ k3 i' O4 E
在六年前主力显卡3G内存上,model small,能跑到12倍速,这个是相当满意了。3 l) ~( C6 a. r9 `
----------------------------------------
1 i( y1 A: z; Ghttps://github.com/guillaumekln/faster-whisper
" k3 s: K5 H9 t2 h, E, A安装如下:
( ~: r! [) v& V4 ^$ ^: M# V  Q5 T1, Windows 10
! W7 r0 a( I  i( U2, Python 3.10.11
& R  t6 V: z$ N6 E$ R/ ~3, CUDA 12.1
$ T" B8 S" X4 i9 O1 h$ I% ]4, 在python 3 中安装  Q) l4 A! S+ Y" ]/ T$ {
pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117/ P2 Y) `9 W3 t
这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB,如果没显示,你得检查一下你的环境。; T5 }8 M) T' y3 [  q* x* I
5,pip install -U openai-whisper
* C) O" G9 e7 F这是向whisper 致敬,可以不装: T( y+ L; {6 N  Y
6,pip install faster-whisper3 _7 }" R7 @; _/ P- W  b' Z
----------------------------------------; u5 C( E- z  E( U0 }
whisper 我用的命令行,faster-whisper 我用的是python。
7 F# A7 F) o5 H$ n下面给出了部分参考代码,根据主页上的参考代码我做了修改,但这个不是能运行的代码:
9 x  ^4 G- s. m  e! b- B: w0 s( B5 n' }9 p
----------------------------------------
! K  L4 O5 ^% G! ~, M+ D# l" j+ r5 `0 D: G# n1 b
from faster_whisper import WhisperModel
7 P6 K5 d& I1 Z0 ~" n
1 ~1 C. Z( Z+ M& v- ~model_size = "small"4 z5 J9 t2 b0 j8 E
* l3 Y/ R! X# l5 R" u
model = WhisperModel(model_size, device="cuda", compute_type="int8")* p- S+ W+ u/ I, g! v
2 O' X3 g$ H8 B* B% p8 k; W
segments, info = model.transcribe(
4 a1 F0 X" O- |- w0 E    sourceFileName,
$ E3 w1 o1 i& @3 `9 x4 e9 K% S9 h    beam_size=5, 9 ?, x5 p5 y, q6 K( k3 P# q
    language="en",
' R& I3 L2 i% i9 e    task="transcribe",
9 P5 \! x7 o( r. ~5 }    word_timestamps=True,
' {" f# y& B$ _& s/ `- Z    initial_prompt = "Hello, welcome to my lecture.")  d2 X9 @1 A6 N

/ n2 a1 ]: @: H  c& o& P/ W/ Xfor segment in segments:+ z8 i( U, ~3 w
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))
1 f* l5 @( l/ s1 b9 G* S' _5 B; }7 `; ?, U7 Q6 `2 O- S
        for word in segment.words:
3 ]/ y2 V+ c8 s( M                  w2 j' }2 j$ N1 l6 G
----------------------------------------# Q, p- u9 e; x, w9 y6 B
0 O9 F! A! I9 a& U& |2 o: {1 I6 O
代码说明:
/ f6 }( U; t, [7 c0 E% o' w1 S1,model.transcribe 只是建立了模型,并没有运行,运行 是从 for segment in segments: 这一句开始的。( v! R+ K: z& w3 Q8 Z, h! ~& ?' h
但是这一步很重要(废话),我的程序有时候会无征兆退出就是在这一步,没有任何错误信息,倒是Windows 侦测到,但也没给出有意义的信息。) [& R8 C1 B: D- j1 E5 \+ J0 @& e, G
2,segment 本身是很粗糙的,做字幕勉强能用。
1 J9 S4 x# s( o+ E5 Z6 S0 o1 s3,word 才是真正的精确控制的,本身带时间轴,所以要做比较好的字幕,必须用到word。
! C( N- {2 X( Q! N3 w1 p8 T( g; r4,word 里面是包含标点符号的,也就是说标点符号不是独立的,是附着在前一个word中
- z# D; N5 B6 U  y* ?+ G+ h& q比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
$ E* d5 a, {5 n! I/ a5,model.transcribe 中参数说明:
/ Y$ b  @# Q& F" d, \/ n% O你要是对 whisper 的参数有所了解的话,基本上这些参数就是对应whisper 的参数
( |( }" j1 i7 ]) O- B  z3 ~. M( ~7 q其中  O: G, M8 L  _6 ?- v5 v5 [! R  o
    word_timestamps=True, ' g/ S: d  j4 k7 g3 h
保证了你能拿到 word,否则是拿不到的
: E. D) P+ O$ U0 o9 H    initial_prompt = "Hello, welcome to my lecture.")
, i( U( B: u$ m* l4 `保证能尽可能准确的断句 punctuation,但是不是决定性的。
0 i3 {( k7 ^! N; y+ e其他参数可参考源文件:$ N, i2 s9 i; \) a, f7 s
https://github.com/guillaumekln/ ... isper/transcribe.py
6 r8 N" G: j  O8 p" \/ K) ~152 def transcribe(" U# ]' O1 h  i% j: M: i' J
从源文件你可以看到是支持中文的句号断句的。/ P8 P% b* O1 \8 c. `+ V

6 l  v3 Q$ M) |' U8 p: \6,如果要尽可能准确的 punctuation,根本办法是用比较大的模型 medium,或者更大。
4 @" H8 b7 D- ^7,我自己观察一个小时之内可以保证断句准确,再长就很可能不行,所以我的办法是切割文件到一个小时,识别后再聚合,效果不错。; Q# Z7 h- m3 W( v( v+ v0 o+ i
8,faster-whisper 会上传一些信息,检测到不停的使用网络,曾经有一次代码出错就是访问网络,你要是有洁癖就把网络暂时给关了。! @9 L; K# w' }# R
, p8 _) z9 {/ m* ~

" x" u! q) n* V# f
, \# ]5 E/ @" q7 }4 Y( w

评分

参与人数 4爱元 +32 收起 理由
蓦然回首 + 8
唐家山 + 4
老票 + 12
老财迷 + 8

查看全部评分

该用户从未签到

沙发
 楼主| 发表于 2023-6-4 11:53:23 | 只看该作者
多谢各位榜爷打赏。
回复 支持 反对

使用道具 举报

手机版|小黑屋|Archiver|网站错误报告|爱吱声   

GMT+8, 2026-6-22 22:55 , Processed in 0.062695 second(s), 18 queries , Gzip On.

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表