设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 3343|回复: 17
打印 上一主题 下一主题

[工程技术] 利用 Deepseek 抓取PDF的文字并矫正。

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2025-2-2 03:35:19 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 nanimarcus 于 2025-2-6 22:17 编辑 # v- b; I4 A7 p' l9 W4 f

# I9 @# Y# m& _# j# I) S0 j! d把PDF上传,然后让他抓取文字,并修改可能的错误。
3 O4 u, F8 W% T然后deepseek完美的完成了任务。
+ F' j, `: s. K+ W/ c9 H5 r段落清楚,列清楚,页眉页脚全部去掉。0 u  M+ n6 R% F7 U! o& }0 `* L9 @- M
我要疯掉了!
/ S9 f+ Q: r! q" U赶紧把自己那些成年老书给搬出来,deepseek,这是党和人民考验你的时候了!& ]" N, U" u1 B
====
- J' m4 x; \0 ?中文也很完美。& _; l! U! ^( b/ j, r( @$ Y7 A8 G- l
经验值,每次十页比较稳定。
- @1 J# \& f; O8 A) ^现在我这里API还不能用,等恢复了,全自动了。. [% P' C5 Z, H% M3 z$ [# M
====; H, U5 c  b) ~! W8 u
第二次疯掉了!
- V: g6 ?. q2 z我上传英文文件后,让他抓取文字,矫正,然让他按页划分,前面放英文,后面放中文,结果仍然完美。8 C  I5 v; d, A3 I: \
====
. b! F7 U# S! v! R; ]5 E; M现在我让他从PDF抓取文字,矫正后,按段落翻译,可以一次翻译多个段落,每次翻译不超过一个固定数目,结果仍然完美。5 m3 e4 y5 c- n( q  \
但是任务多了后,每次翻译的页面数是减少的。
7 T3 i. r* P8 g好吧,我五体投地,继续探索。
' w5 X+ b* j3 g7 M* Q====) y* j' k& g( V
为了防止中间结束,可以告诉他必须所有页面全部处理完就可以了,我现在是应该佩服我自己呢还是应该佩服 deepseek 呢,抑或都佩服。
7 E8 e7 k- I: ~8 X# K% U4 S====
8 x6 u8 }% g: e* q好吧,有些东西是不给翻译的,哈哈。
0 u/ B4 u" T: t* H4 C. {# v! n# r4 p/ e% p! {  ~1 @, x. e" Z
Sorry, that's beyond my current scope. Let’s talk about something else.
2 y& F4 F; P6 L1 `+ H" k====/ ], _8 x8 o9 J8 h6 J" P3 D
然后我的英文命令也让deepseek 帮我修改,呵呵。
0 |* ^1 _3 s% w2 ]& D# A. V====2 z( E# f, k" A$ n
日语的文本他也可以处理,过程一模一样的。问题也是一模一样的,假名太多,汉字很少,我不懂日语,翻出来都不知道对不对。& \  a" X0 x/ M4 V+ i
====
& ~& s9 ^! U' h; w时间段的话,北京时间的下午和晚上用比较好。
* w; T' y9 w( Y+ Y8 F& e, u后半夜和早上,美国人上班了,要么在用,要么在黑客攻击。
! @, Y5 @# n0 X====
  i' W1 t6 P! E0 z2 n用千问吧,非常稳定,非常强大。
$ w! [" t; T1 F8 Z2 ohttps://chat.qwenlm.ai/7 Q( j8 j' s+ A4 }: U  o
====8 |* d& d2 W# I4 P% q
Deepseek,API 看上去可用了,但是不给充钱。3 ]3 o$ n9 i) Z( E1 n

- ?4 |; r: n  z( S) ^/ L% Z: j9 G( C, _$ e

$ k5 ?; ~% X4 Z1 j% ?1 {- b6 Z0 u

评分

参与人数 11爱元 +102 学识 +2 收起 理由
testjhy + 10
johnsonjian + 10
helloworld + 10
laser + 10
笑羽 + 10

查看全部评分

  • TA的每日心情
    开心
    4 小时前
  • 签到天数: 3846 天

    [LV.Master]无

    沙发
    发表于 2025-2-2 03:53:32 | 只看该作者
    这功能很赞呀

    评分

    参与人数 1爱元 +10 收起 理由
    indy + 10

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    板凳
     楼主| 发表于 2025-2-2 03:56:21 | 只看该作者
    马鹿 发表于 2025-2-2 03:53
    & u+ z3 Q+ n, T* d8 @这功能很赞呀

    2 J* j2 X( K: X) D- d: f8 _简直太赞了,我现在正在思考还有什么工作需要 deepseek 干的,现在的上限是我的上限,不是 deepseek 的上限。

    点评

    给力: 5.0 油墨: 5.0
    油菜: 5.0
    油墨: 5 油菜: 5
      发表于 2025-2-2 08:23
    给力: 5
      发表于 2025-2-2 04:41

    评分

    参与人数 2爱元 +20 收起 理由
    笑羽 + 10
    indy + 10

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2022-1-1 00:00
  • 签到天数: 793 天

    [LV.10]大乘

    地板
    发表于 2025-2-2 04:13:28 | 只看该作者
    有没有上传整本书试试
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    5#
     楼主| 发表于 2025-2-2 04:27:15 | 只看该作者
    indy 发表于 2025-2-2 04:13. B' [% q- i8 n/ M1 P) _
    有没有上传整本书试试

    6 m; J2 R, D, I) O4 s目前看来,差不多十页左右就停止了,看看还有什么诀窍不。

    评分

    参与人数 1爱元 +10 收起 理由
    indy + 10 谢谢分享

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    4 小时前
  • 签到天数: 3846 天

    [LV.Master]无

    6#
    发表于 2025-2-2 04:41:51 | 只看该作者
    本帖最后由 马鹿 于 2025-2-1 15:43 编辑 6 s8 S3 q% g1 @! y( s) ^, @& e/ ?

    2 T9 J3 U" D5 G' M% b6 n0 i/ `以后让deepseek 读出土的竹简
    & U& Y# |$ i5 n3 K
    4 D3 d+ m- E; D; A& `还有把古文翻译成现代白话. K( s9 D& c) v. J1 ], p

    " c: @/ i6 K! n8 W以后不认识的字不查字典了, 直接问deepseek
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    4 小时前
  • 签到天数: 3006 天

    [LV.Master]无

    7#
    发表于 2025-2-3 01:23:54 | 只看该作者
    请教是如何实现的?2 O  [' Q5 @4 L# \. y
    - f0 F) @) q7 J7 s( }
    我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后,发出指令提取文件中文字,始终是文件解析中。直接在DS里问如何上传PDF文件,并提取文件中文字,照做其实是一样的。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    8#
     楼主| 发表于 2025-2-3 03:06:35 | 只看该作者
    方恨少 发表于 2025-2-3 01:23
    : c! n2 k; S  e) G% w( ~+ Y! R请教是如何实现的?
    " S, ?3 _+ T8 w7 G2 T5 O9 W0 S( n4 [3 [* s# b3 M1 T
    我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后 ...
    7 {8 M4 t0 [) ?+ a
    " w  ]& n/ Y0 [6 X: a" k* a) D
    我现在也上载不了了,"upload failed",几个小时前还好好的,应该是服务又受攻击所以功能收缩了。
    # r, T/ R% l- n, g; o0 ?, z% I文字之类的没问题。估计deepseek现在暂时只保证主要功能。' Z/ o3 |% l" d) P, s% ?
    美国人就这样,打不过就耍流氓,估计要等一段时间才能完全恢复。- ~" [7 F* _  [# h# T

    点评

    给力: 5.0 涨姿势: 5.0
    给力: 5 涨姿势: 5
      发表于 2025-2-3 03:40
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    9#
     楼主| 发表于 2025-2-5 00:15:37 | 只看该作者
    方恨少 发表于 2025-2-3 01:23
    3 d# ?! |3 K$ v4 O! \3 A8 b8 \& E请教是如何实现的?
    # B. |( a1 n9 O3 O2 t7 G% l3 {
    * m) [" E$ n3 W+ u/ V我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后 ...

    7 Z7 k$ T0 R# T" Y1 V' q4 u# ohttps://chat.qwenlm.ai/
    , y$ k7 r  {" g# _! ?& ]5 z! Y2 l+ Z试一下千问,估计美国人没有攻击他,所以资源敞开用。
    + `4 c! G+ l+ [+ C4 \* N很稳定,质量不错,好像最多一次处理15页。
    1 Q1 i( J" B5 u; o5 b% e+ `我直接拿deepseek的指令用,没有区别。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    4 小时前
  • 签到天数: 3112 天

    [LV.Master]无

    10#
    发表于 2025-4-16 17:01:29 | 只看该作者
    试了这个工具,可以转成markdown,正确率很高,有漏行,图片会放在一个指定的目录下。
    8 D6 J& ~" y6 O7 l处理一本100页左右的扫描版本的中文PDF,一份某行业的接口标准,纯CPU,几分钟时间。3 k  F: Y: p" d9 v9 W
    这个工具不能处理表格,我把文件拖到豆包里,“把这个文件中的表格转换成 markdown。只是表格,不需要其它内容”,表格多的话,要发好多次“请继续”。
    : e: d8 m/ I9 l; W; b& n' \# _* K
    % z  n2 ]4 m4 q; Chttps://github.com/oomol-lab/pdf-craft
    3 t& [' c, a2 J6 i; {" g) d* J/ D0 R& }/ p5 {( {# w' V, j/ x
    1. 这个工具要求装 python3.101 h4 C2 x% w3 O/ e
    2. pip install onnxruntime==1.21.0, 有英伟达的卡:pip install onnxruntime-gpu==1.21.0! P; p5 V( {; \
    3. pip install pdf-craft0 r* k7 h2 g; ?
    4. 把下面的内容写到一个文件里,例如 a.py0 Q! T' U6 Z* |7 C
    ) X7 t7 r+ v3 a. ~  t
    1. from pdf_craft import PDFPageExtractor, MarkDownWriter
      4 f' l, [# O. N1 L: b  w2 ?' w
    2. ( }: j/ Z- r% z+ |3 ?
    3. extractor = PDFPageExtractor(% ^, I  [) u$ h) P+ t
    4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.( Y8 Z. z: ^+ p
    5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
        y0 d' O3 J9 e! L
    6. )
      5 b# t% i( z9 s7 H7 j+ Z5 n. s
    7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
      ) _, c" p. _8 E0 U
    8.   for block in extractor.extract(pdf="/path/to/pdf/file"):2 |: ^7 }, V  I3 N
    9.     md.write(block)
    复制代码
    ' U- k3 r: f+ m$ N6 B2 N
    " @& t8 F1 o+ E+ Y; X$ k
    要修改的内容:& O6 [% j7 C( ?+ V& O/ d% D5 R
    4.1 /path/to/model/dir/path:存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型,国内的要科学上网,国内的镜像上没这个模型
    ' \3 P2 c/ U: n% \2 v+ G4.2 markdown_path:输出的 markdown 路径文件名; W. B* g" v' }) r( Q
    4.3 /path/to/pdf/file: 输入的源PDF路径文件名
    & M1 z$ S: `9 D# M. i. x. B
    , D4 D) p" ^' v9 D  e8 {5. 运行 python3 a.py

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 1 反对 0

    使用道具 举报

    该用户从未签到

    11#
     楼主| 发表于 2025-4-16 19:47:30 | 只看该作者
    本帖最后由 nanimarcus 于 2025-4-16 19:50 编辑
    ' S( F$ c# ]  i$ ^" o6 @0 l# d4 ?# ^4 y- K
    目前为止PDF转纯文字的最佳办法。# e  j0 J8 J6 y0 g* s
    先写个小程序,把PDF按章节切成小的PDF。
    & X6 v$ P, v& z然后,把PDF一个个传到deepseek,让她抓取,除错,输出。
    # M1 O3 P+ H  G; {效果非常好。
    & X$ G: d' b. j8 r0 d
    1 ^, N7 m% B$ j( o! Ndeepseek,qwen,chatgpt 三个,deepseek是最好的。4 C% b# C( r  k1 Y, G

    0 n% m6 p0 a/ N' wdeepseek 把页脚页眉页号全给去除干净了,跨页的段落也给你修好了。! P  `$ ]& K4 l0 C9 G8 u
    而且deepseek不会加戏,chatgpt有时候会想当然的加上没有的文字,让句子看上去想那么回事。
    0 b. [) U8 G% r; z8 v6 `我曾经修一个历史文章,chatgpt给我活活加了三段,真是文豪。
    ( f& I7 m. o+ H3 Y5 N. D: v4 A1 H# @  t: W0 p( L$ w
    API到目前为止,差强人意,不如网页版本修得干净。
    5 ~5 N* n5 K  F. x7 s! w/ j( w* F! k% A9 \  j8 B: c# O6 V
    deepseek可以同时开四个。
    # \3 i2 w: z2 w: O

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    12#
    发表于 2025-4-17 12:26:23 | 只看该作者
    本帖最后由 三力思 于 2025-4-17 12:27 编辑 - N- f4 p6 `$ e) m  Y3 T8 w
    6 u) N$ x& l* R, p# u# L
    让Deepseek给你开发本地架构的抓取PDF软件,并负责上传,下载。 AI监工AI。 LOL
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    13#
     楼主| 发表于 2025-4-17 16:33:20 | 只看该作者
    三力思 发表于 2025-4-17 12:26
    ! W& x1 T" f: T/ w2 K* w' \0 A" p让Deepseek给你开发本地架构的抓取PDF软件,并负责上传,下载。 AI监工AI。 LOL ...

    ( N1 Q; r; B8 t& F细说一下,听上去很不错,多谢。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    14#
    发表于 2025-4-17 21:22:24 | 只看该作者
    nanimarcus 发表于 2025-4-17 16:33
    / M; E; c: y' H) `, }细说一下,听上去很不错,多谢。

    + R6 I& x- A$ u直接问DS,“用C#,JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    15#
     楼主| 发表于 2025-4-17 21:55:57 | 只看该作者
    本帖最后由 nanimarcus 于 2025-4-18 15:39 编辑 4 @5 c" ~$ `, `+ |3 A1 Y
    8 M" J# Q& L' o# Y) o: G6 W
    已经搞定.0 b& T# x/ N; w0 i; t( C

    - R% o  [/ E! c% x: F首先 PDF 本身已经OCR了,Adobe Acrobat Pro中自带这个功能。- [( C# Z: g3 }* m
    0 o5 G# A" T' r6 M( Z0 m* ?6 ?
    1, python + pypdf 按章节拆分小的PDF6 o+ g; N, a1 c, x! W( s9 b

    - e- i& j3 P# O+ Y4 ]0 Y2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile
    # l) |. g1 r; n6 v/ ^: _( M1 c( j# t2 o6 k# d4 I
    得到text file. K( I0 A6 }3 U) o1 j  Q& l

    7 x2 Y) x: ~- L" H3, python 读取整个outputfile,丢给deepseek 矫正。/ l  u+ N& |7 V$ ]" L- A! G6 H( d

    % j7 X' t- L& F& H模型是 deepseek-chat) f# {" |5 m7 ^7 W' q" K

    ! z& j# ^4 h# Mmax_tokens 最大是 8192,别的不用改。
    9 D9 N) }2 d; j$ A8 n! b9 c* K5 p9 A- O
    参考:! m# j1 N+ ]$ V4 n2 o0 ?/ \
    https://api-docs.deepseek.com/api/create-chat-completion
    . d% b- {0 X( s# `3 B) U* U  Q- m1 i8 P
    4,费用:
    1 D( C" {9 G3 g( I, `  t
    ) U+ t, F9 p* ]实测:
    & S" u9 R' h, Q! F$ \- e" b  c5 W9 n( u: c
    296K 字母,用了 9 美分。/ a% q/ f+ J$ b' R1 K2 Z$ f
    4 K7 a; f4 ], [& F
    英文字母 到 token 用量大约 1/3
    2 F. K3 D" A4 @6 @+ f3 x1 `6 T: c
    tokens: total, 11782 completion,  3729 prompt,  8053 | s:  328991 h3 |3 V" ^* z/ d* F! P& W7 C

    ' E) f7 S+ g6 ?7 R32899 个字母花费 11782 tokens,包含输入输出的 tokens: p- }3 b1 L( V/ `& A% H, E

    3 m. }$ l# q# I+ J. S' t价钱,非常非常便宜了。+ z& y! @* ^* [2 w: a) t) B5 o
    9 V2 j& `- F( g& @
    参考如下可以计算,懒得算了。+ m9 B9 J$ n5 e1 z+ t" L
    5 t1 r+ D7 O7 k( k; E5 O% w
    https://api-docs.deepseek.com/quick_start/pricing7 {! ~4 @9 F% s, H" T
    - m# r+ H9 }3 _4 ~( @6 I, i& M
    1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
    ) M+ W: R7 A4 _+ b7 C) M  @4 I6 e1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55% @1 G% }& N# O2 I4 l6 c# P
    1M TOKENS OUTPUT(5)                                              $1.10                $2.19
    7 |0 H* P; K4 O3 m# X# C6 S- [; O3 H8 N2 m$ {, G' O( A! R5 J) {
    5, Balance
    9 O5 E4 q* l& A4 s9 K5 }2 z' x
    6 t& {1 a4 T! a0 V2 p1 v1 {可以在程序里调用,知道每次运行结束后,balance还剩多少。# I( z9 J/ l, ]% E5 R
    参考:0 N$ q6 s! D$ r
    https://api-docs.deepseek.com/api/get-user-balance$ V9 o: _. N7 b

    1 s! Q) G" a. E0 h6 J3 g6, Models% z  q' a; F* M# L& F* g4 ^
    $ P$ ?( Z5 t% i& l+ g- |
    目前就两个
    # y" V, v! W3 Q- V, f( R8 o# deepseek-chat9 p3 w* `( Z, g: B5 T2 H0 b$ s
    # deepseek-reasoner
    5 w9 ^  F0 C* v5 z4 G7 E0 y4 {2 x
    9 z9 F& G& \, T2 G/ f; n参考:
    ! i; z4 @5 c# M# _) S" R" r$ X, ghttps://api-docs.deepseek.com/api/list-models5 u; ]+ ^( g8 y3 ?8 _4 x5 s

      x6 d# N" \( m; R& H$ y- t: x, ?$ H: }& A* P" I" v
    7, 问题6 {; f7 @' {$ p
    ) x4 ~8 L3 R4 U
    deepseek 会将前后两段合成一段。; U- j  |8 B& I+ f. c4 ^
    特别是那种大量的对话的段落,deepseek会给你合成一大段。: t4 H7 V* h5 K
    / h# l: ~& q+ G4 v7 e
    8, 钱说了算。
    * z/ ?! v3 L' O) `+ s. E  n7 E
    : |: t+ c+ l3 c+ U2 j4 Adeepseek 如果是免费的网页版,有时候会出现超出范围的提示,不干了。
    7 Z$ \; Z% L1 o2 y! m) a但是API就不会出现这种情况,毕竟我们给钱了。2 r+ u* n" c/ I( [; l
    chatgpt也是这样的。9 G# d; E( X( x$ k: T% m9 N
    ( l. [2 \" {1 c5 q1 w
    % Q) l; [3 {6 h; f) N

    评分

    参与人数 2爱元 +14 学识 +2 收起 理由
    唐家山 + 4
    老票 + 10 + 2 给力

    查看全部评分

    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-7-15 04:23 , Processed in 0.079995 second(s), 19 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表