设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 6220|回复: 1
打印 上一主题 下一主题

[信息技术] faster-whisper 更快的语音到文字的识别 ASR

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2023-6-4 02:10:18 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 nanimarcus 于 2023-6-4 02:24 编辑 % w2 T1 W: D" V1 I! _, R
( }( J2 A! W/ \' ~4 ^; B. c1 _
借着 chatGPT 这股热潮研究了一下 Whisper,学名叫 automatic speech recognition (ASR) ,就是转换声音到文字的。$ j/ {1 l8 u$ s/ l: \
效果我是很满意的,唯一不满的是速度,在六年前的主流显卡上基本上是一倍速,基本上只用在自己特别喜欢的媒体文件上了。
( D3 m4 M8 P5 ]/ E! E/ \$ k" q----------------------------------------  o. ~8 A2 ^' {2 J6 D' I
显然不满意的不是我一个,活雷锋很快就出来了,名字很谦虚也很霸气 faster-whisper。
0 V; `  ^$ N7 S在六年前主力显卡3G内存上,model small,能跑到12倍速,这个是相当满意了。
6 A. m1 w6 V2 M* n2 a% Y/ u----------------------------------------
- }, \! S& B# O, f5 N: o3 _8 }https://github.com/guillaumekln/faster-whisper& V: v6 [( S6 E$ `  E6 b, E
安装如下:% b& Q. _1 M8 B) a7 x
1, Windows 10  ]# ~" j, Z( K) m- n4 w3 P$ b" k
2, Python 3.10.11; D4 W$ p& P2 P8 r; Z2 ?
3, CUDA 12.1
, E$ u. o7 n9 Z' F2 m* m4, 在python 3 中安装  p! u" ~) ]# o$ t' ~4 M$ |4 h
pip install setuptools-rust torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117
, k# a) G, \* C7 E5 f5 O这一步最后一个安装文件 cu117-cp310-cp310-win_amd64.whl 大小2343.6 MB,如果没显示,你得检查一下你的环境。! v. y: V1 N! B$ C
5,pip install -U openai-whisper6 l. p- T. s! Q+ v. Z; v# C/ X
这是向whisper 致敬,可以不装) Z# Y& k) t- Y0 m& E
6,pip install faster-whisper
' x) s+ P& P# R: s----------------------------------------
% t7 u, W5 T( h/ O* Hwhisper 我用的命令行,faster-whisper 我用的是python。3 T6 n9 E8 F: N
下面给出了部分参考代码,根据主页上的参考代码我做了修改,但这个不是能运行的代码:" Q  I& R; p4 I. L
$ I" u3 p2 C. T
----------------------------------------
# ^5 ^2 j3 c5 K  n4 l, {+ X3 K3 y$ [! v8 _6 _
from faster_whisper import WhisperModel
- ?4 z) c3 r& P" h5 D
: G- Z/ z$ z$ s: F5 ?; S0 Ymodel_size = "small"+ j( R. u1 f0 [7 L6 W/ A

( f$ U/ P2 s5 x! |) ~model = WhisperModel(model_size, device="cuda", compute_type="int8")( T# a( d6 o* [& N/ A  c5 `
; J3 K3 x9 }+ s! C/ e" r
segments, info = model.transcribe(5 j. C3 a! ^) \
    sourceFileName,
9 w5 s- B/ \6 ?1 x% M/ l( d$ O    beam_size=5,
- W/ v! _, S7 V' D6 e6 x/ \  X    language="en",
" h/ i& t+ L1 B) K6 D    task="transcribe", $ u+ I4 I* {$ {6 m+ j  \* t
    word_timestamps=True, + n4 K6 n; l0 l7 Z% o
    initial_prompt = "Hello, welcome to my lecture.")
6 y+ v" X9 W( C) \, R# |) B3 S! F; e( `1 Q& u: B0 i
for segment in segments:+ z1 {$ j* w( Y9 D7 h4 f' J0 j
    print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))3 O: r! t, f1 v" Y% \, O6 k( i

- D* i( r) P8 M; t        for word in segment.words:
1 `4 N/ Q* x$ a% Q/ E) O5 g               
0 \5 H9 b2 h" Y* t0 Z3 V( R, A----------------------------------------
9 ]' p5 P/ s* D) q& D3 h5 U2 p* `1 @: ]/ B; c, M
代码说明:  J7 s1 b$ m- ^* V: |6 z1 x9 |/ n
1,model.transcribe 只是建立了模型,并没有运行,运行 是从 for segment in segments: 这一句开始的。
# M& c* o2 D6 f8 A) p8 l但是这一步很重要(废话),我的程序有时候会无征兆退出就是在这一步,没有任何错误信息,倒是Windows 侦测到,但也没给出有意义的信息。6 R$ d$ s$ U! q- o
2,segment 本身是很粗糙的,做字幕勉强能用。7 O4 ?0 h3 ]" A$ W8 M* S5 ?2 T
3,word 才是真正的精确控制的,本身带时间轴,所以要做比较好的字幕,必须用到word。7 [. q. H: p4 F& H$ G
4,word 里面是包含标点符号的,也就是说标点符号不是独立的,是附着在前一个word中
+ R" L8 e+ x! ]7 a- ?$ g; B- z比如 "faster." 这个句号是和前一个单词 faster 放在同一个 word 里面的。
9 c* _7 p6 h4 s. H! F5,model.transcribe 中参数说明:
8 w8 z6 z' }. c; f- b  v0 f你要是对 whisper 的参数有所了解的话,基本上这些参数就是对应whisper 的参数
' h( g0 W& P6 T0 L2 I) a其中8 _1 h4 {" f) M" T9 B4 U7 j; V5 Z
    word_timestamps=True,
  J) `& }: h& r  D* Z1 m* L( S保证了你能拿到 word,否则是拿不到的
* V9 F1 @# B5 J5 C8 B- p    initial_prompt = "Hello, welcome to my lecture."): n, ?" Z( D) Z
保证能尽可能准确的断句 punctuation,但是不是决定性的。( B) p- B- }. B; c; D
其他参数可参考源文件:3 b6 I8 O4 h  y0 B6 {
https://github.com/guillaumekln/ ... isper/transcribe.py8 {" h0 u, |' _3 K" B
152 def transcribe(
5 v9 M$ m' a/ B  `. g. s) I3 J从源文件你可以看到是支持中文的句号断句的。
7 C/ l0 e, U/ i1 _' ]7 Y( }& m& {# b- D
6,如果要尽可能准确的 punctuation,根本办法是用比较大的模型 medium,或者更大。1 D( S& }4 D: _" o6 s
7,我自己观察一个小时之内可以保证断句准确,再长就很可能不行,所以我的办法是切割文件到一个小时,识别后再聚合,效果不错。
7 L, l" I1 n; t! V8,faster-whisper 会上传一些信息,检测到不停的使用网络,曾经有一次代码出错就是访问网络,你要是有洁癖就把网络暂时给关了。
( x! }; p$ C( v! w' q$ w
; W6 c+ t; a# J0 c* [0 {* w 4 I/ M6 p- P$ f/ o, n& z! m

& U6 d. ~  K, U5 a3 L1 i2 C

评分

参与人数 4爱元 +32 收起 理由
蓦然回首 + 8
唐家山 + 4
老票 + 12
老财迷 + 8

查看全部评分

该用户从未签到

沙发
 楼主| 发表于 2023-6-4 11:53:23 | 只看该作者
多谢各位榜爷打赏。
回复 支持 反对

使用道具 举报

手机版|小黑屋|Archiver|网站错误报告|爱吱声   

GMT+8, 2026-9-28 01:52 , Processed in 0.088435 second(s), 19 queries , Gzip On.

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表