设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 1665|回复: 17
打印 上一主题 下一主题

[工程技术] 利用 Deepseek 抓取PDF的文字并矫正。

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2025-2-2 03:35:19 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 nanimarcus 于 2025-2-6 22:17 编辑 $ |# H7 u8 H: }$ v5 n$ D  r! w

( ]1 v* s/ `/ Z! N6 x( O把PDF上传,然后让他抓取文字,并修改可能的错误。6 b* K2 `! m: I( E$ ]$ x
然后deepseek完美的完成了任务。" ~$ i& f# v3 _; h
段落清楚,列清楚,页眉页脚全部去掉。- L7 l) ]% k2 M: w  X$ w) X* X
我要疯掉了!0 Q" e! Z, |$ j3 j- A9 f
赶紧把自己那些成年老书给搬出来,deepseek,这是党和人民考验你的时候了!: e; {6 E% ^4 M) b! n
====2 A: `7 Q4 p7 w
中文也很完美。$ p" Y9 l9 ^. m3 m5 E6 E+ @; [
经验值,每次十页比较稳定。
' M0 ?) f0 Y; p8 g( l: ]8 q现在我这里API还不能用,等恢复了,全自动了。
! X6 L: G8 \0 X2 [; |# _$ |====" a1 ]% c3 L* Q( b: j  X
第二次疯掉了!
6 Z/ Q, b- Y$ M* v我上传英文文件后,让他抓取文字,矫正,然让他按页划分,前面放英文,后面放中文,结果仍然完美。% f3 S# G5 X, @. g' G% }
====# n# \3 G" B. W' z" ?" t
现在我让他从PDF抓取文字,矫正后,按段落翻译,可以一次翻译多个段落,每次翻译不超过一个固定数目,结果仍然完美。
0 M; d: z$ d  W但是任务多了后,每次翻译的页面数是减少的。7 ]" a0 x  [! {* d0 o5 [; E9 n
好吧,我五体投地,继续探索。
* v$ [, c' C, A/ y8 N====
9 q3 c5 J' q9 E% x: U% s9 L* l8 n为了防止中间结束,可以告诉他必须所有页面全部处理完就可以了,我现在是应该佩服我自己呢还是应该佩服 deepseek 呢,抑或都佩服。
$ Z; o/ t" ^+ m, n* N# ?2 h2 |6 n7 W====7 }9 ]5 _) a# s# e5 O
好吧,有些东西是不给翻译的,哈哈。) Z8 c3 y+ y( U+ Z. L6 \! ^! H

3 S, E7 D  Q4 R2 H% d# qSorry, that's beyond my current scope. Let’s talk about something else.
' W  A/ U1 \" M+ @====
" U8 E0 t5 s! w* a+ l4 V+ d然后我的英文命令也让deepseek 帮我修改,呵呵。
3 M: c% o" z+ t( u* V4 o3 T/ I) ?! e====
9 w1 D% W, V4 U# b+ ]. d日语的文本他也可以处理,过程一模一样的。问题也是一模一样的,假名太多,汉字很少,我不懂日语,翻出来都不知道对不对。5 X! ]% B0 m+ W$ t
====  A# m( T$ @3 W9 }8 J
时间段的话,北京时间的下午和晚上用比较好。$ K4 B/ Q; |  y* c. ]
后半夜和早上,美国人上班了,要么在用,要么在黑客攻击。
5 G) ?/ b9 _( z5 h2 N6 s8 l====
, h! s4 }3 J2 o" O, T, ?/ E用千问吧,非常稳定,非常强大。4 A4 E  b( d! R+ n& x
https://chat.qwenlm.ai/
& ]( ^( r- G0 ]8 w3 f' {====
1 b9 r& m7 U, X+ Q  P. vDeepseek,API 看上去可用了,但是不给充钱。
/ X+ d7 @" {2 }5 t5 e  O3 |- l( k' f2 G
! z- h( m' {1 L, p" C
* \: {! v# P5 `# B0 O+ q: S$ I9 W

评分

参与人数 11爱元 +102 学识 +2 收起 理由
testjhy + 10
johnsonjian + 10
helloworld + 10
laser + 10
笑羽 + 10

查看全部评分

  • TA的每日心情
    开心
    15 小时前
  • 签到天数: 3522 天

    [LV.Master]无

    沙发
    发表于 2025-2-2 03:53:32 | 只看该作者
    这功能很赞呀

    评分

    参与人数 1爱元 +10 收起 理由
    indy + 10

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    板凳
     楼主| 发表于 2025-2-2 03:56:21 | 只看该作者
    马鹿 发表于 2025-2-2 03:53! Q* m7 \$ I$ E  J, `& S- ^
    这功能很赞呀
    & j3 s: e" U: J+ b. `4 {" k; d
    简直太赞了,我现在正在思考还有什么工作需要 deepseek 干的,现在的上限是我的上限,不是 deepseek 的上限。

    点评

    给力: 5.0 油墨: 5.0
    油菜: 5.0
    油墨: 5 油菜: 5
      发表于 2025-2-2 08:23
    给力: 5
      发表于 2025-2-2 04:41

    评分

    参与人数 2爱元 +20 收起 理由
    笑羽 + 10
    indy + 10

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2022-1-1 00:00
  • 签到天数: 793 天

    [LV.10]大乘

    地板
    发表于 2025-2-2 04:13:28 | 只看该作者
    有没有上传整本书试试
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    5#
     楼主| 发表于 2025-2-2 04:27:15 | 只看该作者
    indy 发表于 2025-2-2 04:13+ x2 V/ _, S# b& r' T" }8 b
    有没有上传整本书试试

    $ g8 R$ _* I1 a# k) t8 T目前看来,差不多十页左右就停止了,看看还有什么诀窍不。

    评分

    参与人数 1爱元 +10 收起 理由
    indy + 10 谢谢分享

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    15 小时前
  • 签到天数: 3522 天

    [LV.Master]无

    6#
    发表于 2025-2-2 04:41:51 | 只看该作者
    本帖最后由 马鹿 于 2025-2-1 15:43 编辑
    % a; L! C" |6 D3 O" i) O6 ~& R( A7 [: W
    以后让deepseek 读出土的竹简
    , V$ Q+ Q" A" t: g- Z9 S
    3 e) L! M' @4 ?+ l还有把古文翻译成现代白话# P( q2 E" l5 T! Y% X. V/ G+ B

    ! P. e5 [5 o# o! I以后不认识的字不查字典了, 直接问deepseek
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    11 小时前
  • 签到天数: 2672 天

    [LV.Master]无

    7#
    发表于 2025-2-3 01:23:54 | 只看该作者
    请教是如何实现的?1 s- k9 {4 t0 k- Q3 s. i) i% x3 m

    4 X2 @' X; [( [' v0 [我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后,发出指令提取文件中文字,始终是文件解析中。直接在DS里问如何上传PDF文件,并提取文件中文字,照做其实是一样的。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    8#
     楼主| 发表于 2025-2-3 03:06:35 | 只看该作者
    方恨少 发表于 2025-2-3 01:23- g7 E! c1 d" x8 Q8 r: y2 w
    请教是如何实现的?
    9 {: o' t" S2 b1 n3 j2 j9 k- W* p3 @+ ~2 T: w
    我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后 ...
      x0 {6 Z0 ?$ ]- I- t
    . a6 O! F) C( |0 M+ U# F/ {' K
    我现在也上载不了了,"upload failed",几个小时前还好好的,应该是服务又受攻击所以功能收缩了。
    : Q( n! L9 {5 l% V文字之类的没问题。估计deepseek现在暂时只保证主要功能。) ^8 d% E6 \, p: Y7 j3 a
    美国人就这样,打不过就耍流氓,估计要等一段时间才能完全恢复。
    ! w. S: U( V6 |# c  R; L$ c

    点评

    给力: 5.0 涨姿势: 5.0
    给力: 5 涨姿势: 5
      发表于 2025-2-3 03:40
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    9#
     楼主| 发表于 2025-2-5 00:15:37 | 只看该作者
    方恨少 发表于 2025-2-3 01:23
    9 _9 o8 F; h! e* ^+ R请教是如何实现的?
    1 `# Z; G& Q; m2 z8 `# u, o/ e
    我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后 ...
    ) w! P7 |" t  \( G
    https://chat.qwenlm.ai/
    # \  @( o. U5 A1 L2 g试一下千问,估计美国人没有攻击他,所以资源敞开用。; K+ b2 p0 \7 V+ e( `+ t6 A3 C2 I  S
    很稳定,质量不错,好像最多一次处理15页。
    ( _. h5 M; h, X0 u, p我直接拿deepseek的指令用,没有区别。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    15 小时前
  • 签到天数: 2809 天

    [LV.Master]无

    10#
    发表于 2025-4-16 17:01:29 | 只看该作者
    试了这个工具,可以转成markdown,正确率很高,有漏行,图片会放在一个指定的目录下。
    " T+ ]+ I' {' U处理一本100页左右的扫描版本的中文PDF,一份某行业的接口标准,纯CPU,几分钟时间。
    5 q+ c8 }$ R3 `# [( A" B9 T4 u% J9 c这个工具不能处理表格,我把文件拖到豆包里,“把这个文件中的表格转换成 markdown。只是表格,不需要其它内容”,表格多的话,要发好多次“请继续”。. P# _" c( g2 V% O

    5 z0 d2 S6 v, q+ [8 bhttps://github.com/oomol-lab/pdf-craft* F! p# M- ^: h; A
    $ h( C& y$ K' P0 a% c# L& b( ~, a
    1. 这个工具要求装 python3.10) w1 I* }/ U0 p" ]  s# k9 X+ l
    2. pip install onnxruntime==1.21.0, 有英伟达的卡:pip install onnxruntime-gpu==1.21.0' W% f9 l& g$ z0 r' D0 u5 u: l
    3. pip install pdf-craft, }8 L% _: [& M8 b6 O7 Y4 @  w" u
    4. 把下面的内容写到一个文件里,例如 a.py5 Z" u# n* h' O
      @  |( i7 S- O2 [; ^4 J
    1. from pdf_craft import PDFPageExtractor, MarkDownWriter
      ' k) s" W  q5 v

    2. ; u( X$ B6 m% D8 J/ B2 @
    3. extractor = PDFPageExtractor(/ t' A6 D" }/ W+ w# S
    4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.  r! C7 H/ A8 d' t* j! h1 c  P0 t
    5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed: p1 g2 I' s6 a9 `( V
    6. )2 k( Q" R: j7 V$ t, h+ w9 d6 }
    7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:# K; u* K" C2 B0 E& M
    8.   for block in extractor.extract(pdf="/path/to/pdf/file"):, B9 z" G! ~& ?5 m6 s. ~9 K$ S
    9.     md.write(block)
    复制代码
    . ^2 N/ ~: h7 |( K% d
    1 J; s2 t4 Z( |$ y+ K1 q# L
    要修改的内容:4 B) y0 S# X5 ]" E
    4.1 /path/to/model/dir/path:存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型,国内的要科学上网,国内的镜像上没这个模型$ o+ v% e% i/ E! C9 C: [
    4.2 markdown_path:输出的 markdown 路径文件名
    ; b+ l9 W" a, h# f7 U# j  x4.3 /path/to/pdf/file: 输入的源PDF路径文件名
    ; M' b5 _* R( ]6 }  I: T5 c, D
      S* Z) V# c- L# \2 ^  E5. 运行 python3 a.py

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 1 反对 0

    使用道具 举报

    该用户从未签到

    11#
     楼主| 发表于 2025-4-16 19:47:30 | 只看该作者
    本帖最后由 nanimarcus 于 2025-4-16 19:50 编辑 5 \6 k. Q4 c, F# t6 n& s

    4 N/ v9 {6 @2 a0 t/ |目前为止PDF转纯文字的最佳办法。
    8 `2 c' Y& \4 I$ Z$ X先写个小程序,把PDF按章节切成小的PDF。
    3 a/ w, S* P* C1 A% p0 N9 K: \然后,把PDF一个个传到deepseek,让她抓取,除错,输出。
    + ]) o  e8 N% p$ X效果非常好。
    + I; z9 x) `. u5 ^8 p$ R( z
    : Z6 J8 T) _) e, i8 v% Cdeepseek,qwen,chatgpt 三个,deepseek是最好的。
      o  |, k2 p7 z$ s- {9 O% F  d6 x' F. `1 T$ b
    deepseek 把页脚页眉页号全给去除干净了,跨页的段落也给你修好了。
    $ Z; o6 Y/ D% g8 d5 M9 @而且deepseek不会加戏,chatgpt有时候会想当然的加上没有的文字,让句子看上去想那么回事。; O9 V( o6 h2 Q% ?1 K0 I+ \: ?% @& i% R2 Q
    我曾经修一个历史文章,chatgpt给我活活加了三段,真是文豪。  J; [2 o* h% f" N  a  n8 s

    1 ?1 m% l3 ?; L5 n4 n$ PAPI到目前为止,差强人意,不如网页版本修得干净。* h/ f5 N6 @$ p( c' j7 A

    $ o/ X( p3 H  k- g  f  Udeepseek可以同时开四个。
    4 v1 F* |- Z: C7 B4 o5 S

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    12#
    发表于 2025-4-17 12:26:23 | 只看该作者
    本帖最后由 三力思 于 2025-4-17 12:27 编辑 # G- h! T3 A5 U8 U4 [( U% f
    / G1 M8 @3 P  E. a3 u  \+ S- B, E' E
    让Deepseek给你开发本地架构的抓取PDF软件,并负责上传,下载。 AI监工AI。 LOL
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    13#
     楼主| 发表于 2025-4-17 16:33:20 | 只看该作者
    三力思 发表于 2025-4-17 12:26
    " f$ V" A. Z7 [, m让Deepseek给你开发本地架构的抓取PDF软件,并负责上传,下载。 AI监工AI。 LOL ...

    - X% F; U. ?# ?细说一下,听上去很不错,多谢。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    14#
    发表于 2025-4-17 21:22:24 | 只看该作者
    nanimarcus 发表于 2025-4-17 16:33  i( ^% d  I+ ?2 \- I+ o
    细说一下,听上去很不错,多谢。

    ) V# t, V* v0 k4 d7 P0 s直接问DS,“用C#,JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    15#
     楼主| 发表于 2025-4-17 21:55:57 | 只看该作者
    本帖最后由 nanimarcus 于 2025-4-18 15:39 编辑 7 x4 c' l$ k! e1 X6 r
      ^9 F  W  E7 s6 B
    已经搞定.! M6 r( Z/ r4 ~) ?0 v% ?2 B% x2 Y6 k
    4 |+ {1 _" Z0 y. K, o  m& ]
    首先 PDF 本身已经OCR了,Adobe Acrobat Pro中自带这个功能。
    % p4 d3 M1 p1 H$ d/ a/ @: Y7 I. |- E
    ! @) ?3 `* l9 A8 f" J0 P1, python + pypdf 按章节拆分小的PDF
    5 ]* P6 x9 I+ F  [# o0 k, J
    9 \/ \2 m' d9 Q2 b' y6 r- l6 g$ P2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile% ^; X3 y2 f) l: s/ C$ e1 {' X+ Y
    7 A) v+ y- M. A
    得到text file
      C+ d- e3 R! f; f
    ; f: o' F) U5 {8 F$ @8 o4 c; f  V/ v3, python 读取整个outputfile,丢给deepseek 矫正。
    1 j2 E$ f! P. n# b0 h0 s, e. S$ e" L. }! t1 M! W
    模型是 deepseek-chat
    7 r8 ~6 F4 ^/ v! D0 e' f! h0 ~$ b4 Z6 y8 S3 @* t8 d, s2 `
    max_tokens 最大是 8192,别的不用改。
    4 R3 m, o/ Y% _8 S8 Z, T3 J8 o
    6 R4 t' m4 {1 Q: j参考:- ?* L  [+ ~, t
    https://api-docs.deepseek.com/api/create-chat-completion
    5 X& ^& ]- _" `/ l/ l" S3 g) q5 S  m1 ^. W  P+ a
    4,费用:
    ) b# E% {' \1 P, U4 W9 S4 H/ q2 C+ p. f# s1 x* `+ z
    实测:; ~  G6 ], D: l& |  X- |
    ' b9 B: c( Z5 l4 q0 `9 ]1 c
    296K 字母,用了 9 美分。
    " j3 b) {) q* k9 U' U8 j8 d: ], s5 k4 K' `! B5 {/ E
    英文字母 到 token 用量大约 1/3& E* Q7 ]5 B$ l' \  S. g5 y1 ~0 P2 E

    # j# l5 N1 {/ O5 V) n- ^& O! @tokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899, N) |; G& x6 w0 P' \
    " M4 Y- g' Q$ G' b6 I
    32899 个字母花费 11782 tokens,包含输入输出的 tokens
    4 S! M( k$ f- D6 @1 ]
    3 I* @0 Q3 \9 j3 A价钱,非常非常便宜了。
    8 n$ M5 ~% \6 _% c; H* |" ]3 M% p/ T
    参考如下可以计算,懒得算了。
    " f+ e% V1 h/ r; T
    8 ~1 s6 T3 f+ h" `% ?. i6 `https://api-docs.deepseek.com/quick_start/pricing( G. j) U: i( g1 V% |* H0 G2 N

    " h3 K4 a" J9 j3 R- B1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.145 N+ M/ F. ^- |0 ]3 e+ X. I! H/ q. J
    1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
    3 m  t3 A' ~/ J1M TOKENS OUTPUT(5)                                              $1.10                $2.19
    0 ^5 m% |2 K2 a
    $ s. ?/ V5 g! l+ Q( X( B' A5, Balance
    * ]" o& p) C8 Y1 @* I% [* D% r
    8 e) ?) R% I1 q$ F2 L. u( s2 {可以在程序里调用,知道每次运行结束后,balance还剩多少。6 h: @9 I* `/ {( r8 k
    参考:
    * y9 j8 ?% B( U9 e& h# s" \+ Xhttps://api-docs.deepseek.com/api/get-user-balance
    5 _. ^8 P, Z+ g8 k5 |- y2 J
    " f9 C/ t/ F, c3 l& l! W( }6, Models6 E6 l) w: k+ A2 k: T5 v7 N* k
    / R, o3 s+ K" k& P$ Q+ p
    目前就两个: b0 C3 A3 _$ @% h# k
    # deepseek-chat, d; a9 d4 }- t' Y$ E7 s3 P" ?
    # deepseek-reasoner
      [8 G' x7 t! f' c) B
    8 X8 b: s# e) j& J5 P参考:
    4 M& W; e/ ?) T1 S' I: h2 _# dhttps://api-docs.deepseek.com/api/list-models" A8 u7 w5 j: o; G4 r+ `. {

    ! |2 ?5 J/ {5 N! {" ^9 K5 ?- K4 F4 a
    / H, E/ h1 ]6 w; y2 f9 f7, 问题$ G1 n3 h" T" K9 O3 B) E/ m

    # z0 H" S6 r6 ddeepseek 会将前后两段合成一段。- P* S  r! T+ J. T
    特别是那种大量的对话的段落,deepseek会给你合成一大段。
    $ x% x8 n, j$ q, P6 I! H  p# T5 W+ E0 U8 P
    8, 钱说了算。
    7 W) q8 E7 u* B6 `
    # i5 n" H( T* v0 ddeepseek 如果是免费的网页版,有时候会出现超出范围的提示,不干了。9 k! u- A5 k* _+ I' g! o
    但是API就不会出现这种情况,毕竟我们给钱了。
    ) t) ^0 B2 }% O/ b- Q" o- q* Wchatgpt也是这样的。
    * X4 ^# N4 V' \
    : Y* M2 H& J/ ?4 b( A; }$ W7 N6 M  p3 c+ [' C' p  Z% n! Y

    评分

    参与人数 2爱元 +14 学识 +2 收起 理由
    唐家山 + 4
    老票 + 10 + 2 给力

    查看全部评分

    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2025-7-26 15:23 , Processed in 0.052589 second(s), 19 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表