利用 Deepseek 抓取PDF的文字并矫正。

nanimarcus

" j& @+ t# c5 u% y& U8 ~把PDF上传，然后让他抓取文字，并修改可能的错误。
然后deepseek完美的完成了任务。
  P7 h, H9 ^" N+ j+ \! x* o段落清楚，列清楚，页眉页脚全部去掉。
/ n* a! Y8 |8 l0 k/ ~! F- P( H* s我要疯掉了！
* w% h7 s' j& g& |1 g赶紧把自己那些成年老书给搬出来，deepseek，这是党和人民考验你的时候了！
====
# g: n  N0 ?. I% U, X中文也很完美。
/ Z/ ~% J* ?$ c* G# t$ \4 K经验值，每次十页比较稳定。
8 y0 }3 r* y9 f3 R8 Z! S  B5 O# Y现在我这里API还不能用，等恢复了，全自动了。
) u. j! g$ e; `  S====
第二次疯掉了！
8 B2 w# {! t4 g  P& R我上传英文文件后，让他抓取文字，矫正，然让他按页划分，前面放英文，后面放中文，结果仍然完美。
7 D( K& K0 [2 G- s/ N( h3 C; F& E====
现在我让他从PDF抓取文字，矫正后，按段落翻译，可以一次翻译多个段落，每次翻译不超过一个固定数目，结果仍然完美。
; K5 D3 G" a( `! Q" H1 W/ Z但是任务多了后，每次翻译的页面数是减少的。
好吧，我五体投地，继续探索。
====
为了防止中间结束，可以告诉他必须所有页面全部处理完就可以了，我现在是应该佩服我自己呢还是应该佩服 deepseek 呢，抑或都佩服。
0 o/ t  C- e6 m  @5 g. p====
8 y% f2 a, p, P0 h, F: R好吧，有些东西是不给翻译的，哈哈。
8 S( [) c$ j: k1 I6 r$ T( ?
* ~+ r9 q+ ~# k9 Z! u' ]Sorry, that's beyond my current scope. Let’s talk about something else.
====
% V- Q6 H% D* W2 |6 ^然后我的英文命令也让deepseek 帮我修改，呵呵。
====
) c% z6 H. h( U& u5 l( ?日语的文本他也可以处理，过程一模一样的。问题也是一模一样的，假名太多，汉字很少，我不懂日语，翻出来都不知道对不对。
====
时间段的话，北京时间的下午和晚上用比较好。
. H* {" M7 k/ s% b4 ?2 @7 l后半夜和早上，美国人上班了，要么在用，要么在黑客攻击。
====
* \  Y" |) r1 d/ |用千问吧，非常稳定，非常强大。
https://chat.qwenlm.ai/
====
5 g* F2 d4 }/ @# M: FDeepseek，API 看上去可用了，但是不给充钱。
' V6 _' {- ^) Y

马鹿

这功能很赞呀

nanimarcus

马鹿 发表于 2025-2-2 03:53
这功能很赞呀

' z0 j1 {5 M! u3 U- X- g7 T* M6 ?2 x/ ~简直太赞了，我现在正在思考还有什么工作需要 deepseek 干的，现在的上限是我的上限，不是 deepseek 的上限。

indy

有没有上传整本书试试

nanimarcus

indy 发表于 2025-2-2 04:13
有没有上传整本书试试

* C3 c) m1 `9 [) E目前看来，差不多十页左右就停止了，看看还有什么诀窍不。

马鹿

/ _  M* s( x( i以后让deepseek 读出土的竹简
. g; {" R$ x$ F: V& Q
还有把古文翻译成现代白话

# p; H8 G6 V* Q$ F: M) V以后不认识的字不查字典了， 直接问deepseek

方恨少

请教是如何实现的？

$ w+ `0 U: I! \- L* s我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后，发出指令提取文件中文字，始终是文件解析中。直接在DS里问如何上传PDF文件，并提取文件中文字，照做其实是一样的。

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？
- }* Y* g3 g: K+ b2 t2 R5 L
我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

; j. I/ o1 E: u6 n
2 W% `. [3 y" f0 o8 ?6 w% v我现在也上载不了了，"upload failed"，几个小时前还好好的，应该是服务又受攻击所以功能收缩了。
文字之类的没问题。估计deepseek现在暂时只保证主要功能。
美国人就这样，打不过就耍流氓，估计要等一段时间才能完全恢复。
& f; Q/ ]2 Q  a6 O* Y" I# d  r

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？

我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

https://chat.qwenlm.ai/
试一下千问，估计美国人没有攻击他，所以资源敞开用。
6 ~9 s$ p5 h1 q! p; b/ _$ q0 g1 |很稳定，质量不错，好像最多一次处理15页。
$ J* {2 r; J( b我直接拿deepseek的指令用，没有区别。

heinsect

试了这个工具，可以转成markdown，正确率很高，有漏行，图片会放在一个指定的目录下。
处理一本100页左右的扫描版本的中文PDF，一份某行业的接口标准，纯CPU，几分钟时间。
' z; X5 i. {- L1 b! V: m这个工具不能处理表格，我把文件拖到豆包里，“把这个文件中的表格转换成 markdown。只是表格，不需要其它内容”，表格多的话，要发好多次“请继续”。

8 f  B4 c* T/ Z; J/ ~: ]% Whttps://github.com/oomol-lab/pdf-craft

; H% F+ S4 J9 X1. 这个工具要求装 python3.10
8 v0 B0 w9 i( m$ [4 K9 i- b4 T2. pip install onnxruntime==1.21.0, 有英伟达的卡：pip install onnxruntime-gpu==1.21.0
3. pip install pdf-craft
4. 把下面的内容写到一个文件里，例如 a.py

/ F; B5 B; y' |6 }

1. from pdf_craft import PDFPageExtractor, MarkDownWriter
   
2. 
   5 P2 ?1 y+ X6 C& I# }* U
3. extractor = PDFPageExtractor(
   # ~) P' R& b, ^7 s+ f! ~3 s4 U# W
4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
   
5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
   ' S2 |, z3 M$ B
6. )
   ; o) F, T0 Q. s# C1 b
7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
   7 E& ?, y. n# R
8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
   
9.     md.write(block)

复制代码

+ Y- `$ S( i$ ^0 k" K7 f! L- o5 A
要修改的内容：
" y/ u4 E1 F- m" c. E/ Y" g* E4.1 /path/to/model/dir/path：存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型，国内的要科学上网，国内的镜像上没这个模型
1 t' Q3 ?' r: E- o: R4.2 markdown_path：输出的 markdown 路径文件名
4.3 /path/to/pdf/file: 输入的源PDF路径文件名
% C. G- M; O- L: h
5. 运行 python3 a.py

nanimarcus

# O  _, D- J, q2 u: N目前为止PDF转纯文字的最佳办法。
2 ?3 {7 e. r# h. R: g# Q先写个小程序，把PDF按章节切成小的PDF。
  @( o: ^  G0 E2 U! D4 ]" C然后，把PDF一个个传到deepseek，让她抓取，除错，输出。
" e: T; H( R2 y- ]1 B效果非常好。
. z+ y1 ?7 j" C2 b8 o( ^1 l" P
1 k. N/ B  _1 H% Hdeepseek，qwen，chatgpt 三个，deepseek是最好的。

* t- O5 b" o) V# ^% q/ |, ^deepseek 把页脚页眉页号全给去除干净了，跨页的段落也给你修好了。
" s( L6 P9 o" ?( }: w而且deepseek不会加戏，chatgpt有时候会想当然的加上没有的文字，让句子看上去想那么回事。
我曾经修一个历史文章，chatgpt给我活活加了三段，真是文豪。

$ c0 f' O7 `8 S- uAPI到目前为止，差强人意，不如网页版本修得干净。
2 F) X" e. r1 K$ c: N) h
1 a$ a  m; f0 c  U4 n6 ldeepseek可以同时开四个。

三力思

( V0 [/ k- s# o. N% u/ ~0 T: u
让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL

nanimarcus

三力思 发表于 2025-4-17 12:26
  o7 E6 ]! a, V" g$ R4 O8 {让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL ...

细说一下，听上去很不错，多谢。

三力思

nanimarcus 发表于 2025-4-17 16:33
细说一下，听上去很不错，多谢。

! J! r+ F4 e/ ?3 w" J直接问DS，“用C#，JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”

nanimarcus

' i3 o  X# K) j) w4 u
已经搞定.

0 _' Z6 K5 D+ {7 @3 m" p; j5 v首先 PDF 本身已经OCR了，Adobe Acrobat Pro中自带这个功能。

! z! C# i! j8 k- h1, python + pypdf 按章节拆分小的PDF
4 R. ~0 m# F/ I  ]- a
/ l7 ]0 e$ P$ V( A! A3 s1 i7 K: X# d2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile
. M8 g: |/ A0 x$ ]4 f2 j( u
得到text file
( P' H( b, S4 j. P: u9 i
3, python 读取整个outputfile，丢给deepseek 矫正。
- j) C( j0 h& R8 k* n4 K# A
5 D; D; E3 Q' \# t模型是 deepseek-chat
* W, Y  }' q3 i( v. l3 h9 `+ z
max_tokens 最大是 8192，别的不用改。

0 i0 U; B! g" U, A参考：
https://api-docs.deepseek.com/api/create-chat-completion
, a( S6 [! e0 I5 W
4，费用：

实测：
! ^$ o8 E6 N2 Y, ~9 z
- K  ?' b& ^) L1 }296K 字母，用了 9 美分。

8 ~; u2 F1 N* p8 u0 c英文字母 到 token 用量大约 1/3

2 l) I9 {' p9 |# Y0 \tokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899
8 p: j6 [5 @0 }3 e& D2 C
2 z/ o: A% \/ J/ I3 X6 V32899 个字母花费 11782 tokens，包含输入输出的 tokens
$ n, @# q+ q) y2 T% j8 M
价钱，非常非常便宜了。
, Q% N: k, m5 T2 a
4 s8 R  S) X+ I: R2 J+ U参考如下可以计算，懒得算了。

https://api-docs.deepseek.com/quick_start/pricing
  b0 s- N% S. q/ ]; R; S
3 u+ p4 f0 g0 N" R1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
4 E% w8 Y+ H+ u& G) I. J8 h1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
- y" k* o: i5 I! [) L1M TOKENS OUTPUT(5)                                              $1.10                $2.19

+ N- O" c0 R$ S$ _+ f5 A+ R3 q; ^5, Balance
$ D9 S3 R( ?( h3 g1 j
可以在程序里调用，知道每次运行结束后，balance还剩多少。
1 H  M" J* I$ x参考：
0 l; D3 n  Q/ p2 i- H" p- |! Yhttps://api-docs.deepseek.com/api/get-user-balance
, \& r) [) e1 v$ K# }& R
6, Models

目前就两个
# deepseek-chat
; ?8 D: c" J9 Y# deepseek-reasoner
5 B& p0 ?+ _( O' Q
参考：
https://api-docs.deepseek.com/api/list-models


7, 问题

9 ~$ _4 T  ]7 D4 y. ^9 M$ Odeepseek 会将前后两段合成一段。
7 l* z+ `( Y( ^/ v) p8 A8 A特别是那种大量的对话的段落，deepseek会给你合成一大段。
8 ^& O" j! P# o6 Y
8, 钱说了算。

deepseek 如果是免费的网页版，有时候会出现超出范围的提示，不干了。
2 i; B6 A, p+ f) s4 T/ E7 ?但是API就不会出现这种情况，毕竟我们给钱了。
chatgpt也是这样的。
5 A+ X  Q7 D9 w0 H9 y

& t" y+ I9 ^& E! T- b3 N& h