利用 Deepseek 抓取PDF的文字并矫正。

nanimarcus

. |  Z  f( e% y8 J) g
把PDF上传，然后让他抓取文字，并修改可能的错误。
然后deepseek完美的完成了任务。
7 J; o+ d" M8 W段落清楚，列清楚，页眉页脚全部去掉。
我要疯掉了！
4 t$ N! Q8 ~4 N* y0 k# Y# j赶紧把自己那些成年老书给搬出来，deepseek，这是党和人民考验你的时候了！
  g) o- a0 `5 ^====
中文也很完美。
经验值，每次十页比较稳定。
现在我这里API还不能用，等恢复了，全自动了。
% v8 P/ j! E1 i/ {, g====
第二次疯掉了！
我上传英文文件后，让他抓取文字，矫正，然让他按页划分，前面放英文，后面放中文，结果仍然完美。
====
现在我让他从PDF抓取文字，矫正后，按段落翻译，可以一次翻译多个段落，每次翻译不超过一个固定数目，结果仍然完美。
7 o3 \$ k% P; W; S5 u但是任务多了后，每次翻译的页面数是减少的。
好吧，我五体投地，继续探索。
  f% A3 z+ ]' b8 n4 t5 H* U4 D1 w====
为了防止中间结束，可以告诉他必须所有页面全部处理完就可以了，我现在是应该佩服我自己呢还是应该佩服 deepseek 呢，抑或都佩服。
====
好吧，有些东西是不给翻译的，哈哈。
3 X& l7 H8 R" f6 A
Sorry, that's beyond my current scope. Let’s talk about something else.
: m. ^& e0 C; m1 n5 P5 y====
! m, F* R& i0 _3 J然后我的英文命令也让deepseek 帮我修改，呵呵。
$ F5 Z) W$ I; x; N1 ~7 x7 T7 D====
日语的文本他也可以处理，过程一模一样的。问题也是一模一样的，假名太多，汉字很少，我不懂日语，翻出来都不知道对不对。
====
5 c7 m4 b" n. X时间段的话，北京时间的下午和晚上用比较好。
; s1 Z5 F5 J7 a% ^& n后半夜和早上，美国人上班了，要么在用，要么在黑客攻击。
& }( q& a& n- v! E====
  I( y$ P* i7 F, k6 o" v% k, j9 m用千问吧，非常稳定，非常强大。
https://chat.qwenlm.ai/
5 _" b) {' |- v. _- M: \====
Deepseek，API 看上去可用了，但是不给充钱。
$ W( d( w. a' P


, x) M. L' \0 a% X1 X: P

马鹿

这功能很赞呀

nanimarcus

马鹿 发表于 2025-2-2 03:53
这功能很赞呀

" Y. ^: o4 @0 S. o9 g$ X" @9 P简直太赞了，我现在正在思考还有什么工作需要 deepseek 干的，现在的上限是我的上限，不是 deepseek 的上限。

indy

有没有上传整本书试试

nanimarcus

indy 发表于 2025-2-2 04:13
有没有上传整本书试试

目前看来，差不多十页左右就停止了，看看还有什么诀窍不。

马鹿

: Q: w/ O. \: L2 H7 D/ b7 J. F
( j' v! r* C6 t0 D+ Z以后让deepseek 读出土的竹简

  V. Y' I1 R& L! b6 U还有把古文翻译成现代白话

以后不认识的字不查字典了， 直接问deepseek

方恨少

请教是如何实现的？
9 M6 B1 U+ M) O( m5 G
* r/ `, n( W+ Y1 s5 g0 m0 c我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后，发出指令提取文件中文字，始终是文件解析中。直接在DS里问如何上传PDF文件，并提取文件中文字，照做其实是一样的。

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？
, A+ P5 X! j! y* }  j3 j7 [& q
我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

- B3 j, s5 U: e- S& F, z' X
我现在也上载不了了，"upload failed"，几个小时前还好好的，应该是服务又受攻击所以功能收缩了。
; T' U4 g8 w% _+ k9 |% {& W6 j* T) ^8 P文字之类的没问题。估计deepseek现在暂时只保证主要功能。
美国人就这样，打不过就耍流氓，估计要等一段时间才能完全恢复。

nanimarcus

方恨少 发表于 2025-2-3 01:23
1 V- n$ E* P  d请教是如何实现的？
% c, |* L3 D) k9 V' s, [) \; b+ j# K# o
我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

0 B, Z6 b' Z, l  k. k% x5 Whttps://chat.qwenlm.ai/
; ?0 l) A- c3 G试一下千问，估计美国人没有攻击他，所以资源敞开用。
$ }* F6 L! a9 w& v很稳定，质量不错，好像最多一次处理15页。
我直接拿deepseek的指令用，没有区别。

heinsect

试了这个工具，可以转成markdown，正确率很高，有漏行，图片会放在一个指定的目录下。
2 u5 T, ?8 N$ B7 J/ o处理一本100页左右的扫描版本的中文PDF，一份某行业的接口标准，纯CPU，几分钟时间。
这个工具不能处理表格，我把文件拖到豆包里，“把这个文件中的表格转换成 markdown。只是表格，不需要其它内容”，表格多的话，要发好多次“请继续”。
2 ^. }8 w* L2 g
https://github.com/oomol-lab/pdf-craft
; h. V: U1 ^, C2 O
1. 这个工具要求装 python3.10
# q9 y8 |* S' i7 ^2 x2. pip install onnxruntime==1.21.0, 有英伟达的卡：pip install onnxruntime-gpu==1.21.0
: Y! _1 ^! B8 G$ k7 ^3. pip install pdf-craft
" T( l$ ?; L3 A4 [  _4. 把下面的内容写到一个文件里，例如 a.py

1. from pdf_craft import PDFPageExtractor, MarkDownWriter
   
2. 
   
3. extractor = PDFPageExtractor(
   ( e9 {/ X+ B$ l/ o7 f/ N. d0 H2 N
4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
   1 J  M  z* `2 o, n
5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
   / w) \4 N# l3 y! J3 t0 F
6. )
   ( h$ ^( X! E; L# g+ A
7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
   $ d1 _/ {1 s. ^3 Y$ O' E, Y
8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
   
9.     md.write(block)

复制代码

( x, D! H9 @* b, V" D7 t$ N$ V要修改的内容：
4.1 /path/to/model/dir/path：存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型，国内的要科学上网，国内的镜像上没这个模型
4.2 markdown_path：输出的 markdown 路径文件名
4.3 /path/to/pdf/file: 输入的源PDF路径文件名
; u) J/ ]6 p. |8 ?6 R. D
5. 运行 python3 a.py

nanimarcus

- p, ]# U! ]& E7 i( ]5 W
9 c% _- W) a$ n7 c. P7 [2 q" p目前为止PDF转纯文字的最佳办法。
6 J& i! \/ m4 K+ x7 T( H4 l先写个小程序，把PDF按章节切成小的PDF。
然后，把PDF一个个传到deepseek，让她抓取，除错，输出。
, Z$ {% l& j$ B- Y% x' S7 P# J( `/ j效果非常好。

+ o& j9 b8 X9 Q+ T! Qdeepseek，qwen，chatgpt 三个，deepseek是最好的。
/ W- Q, D* L# o
deepseek 把页脚页眉页号全给去除干净了，跨页的段落也给你修好了。
* I- u8 d( N9 S0 b! h而且deepseek不会加戏，chatgpt有时候会想当然的加上没有的文字，让句子看上去想那么回事。
) v+ m8 m+ p8 k- V& ?我曾经修一个历史文章，chatgpt给我活活加了三段，真是文豪。

API到目前为止，差强人意，不如网页版本修得干净。
7 x% _3 x" D+ m
- p# s; j) Q1 [# `! I9 |8 J8 ~% s  ndeepseek可以同时开四个。

三力思

让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL

nanimarcus

三力思 发表于 2025-4-17 12:26
! g) p$ P" j, M7 v9 W$ b6 {让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL ...

( L* p6 p& x$ v$ n, }2 T细说一下，听上去很不错，多谢。

三力思

nanimarcus 发表于 2025-4-17 16:33
细说一下，听上去很不错，多谢。

  ], Q' B3 Y- ]直接问DS，“用C#，JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”

nanimarcus

1 l& X  Z3 h, L
已经搞定.
  i+ P: W) V% _, F( s! q  a
首先 PDF 本身已经OCR了，Adobe Acrobat Pro中自带这个功能。
+ V. l8 h$ z  n+ A# A
1, python + pypdf 按章节拆分小的PDF
" t3 f1 C7 V& h, c8 C
2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile

! M$ Q- U; y, y. s/ v- V得到text file
5 h- v/ G0 Q% p# ~$ q0 ?/ Y# M, k
3, python 读取整个outputfile，丢给deepseek 矫正。
2 ~5 t4 A" u; z& k% T4 e0 _
+ d& }+ x' }' L' a模型是 deepseek-chat

max_tokens 最大是 8192，别的不用改。
$ v5 h4 E* N# ~) I
参考：
8 C# {# A7 l7 O6 y3 @2 I* {https://api-docs.deepseek.com/api/create-chat-completion
8 ]% l" `' x3 f* I+ y
8 g5 S& s) B2 L7 W' l) K5 B: P: X4，费用：
* U% _1 z. \2 M7 D) `
实测：
! k* P, K1 ~; o# t9 f2 ^
296K 字母，用了 9 美分。

$ G0 ~. L9 H' _- u4 i英文字母 到 token 用量大约 1/3
$ X" p+ F7 q9 t3 u" n
tokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899

32899 个字母花费 11782 tokens，包含输入输出的 tokens
$ Y( ]6 L8 ]3 \! F) X+ X7 s9 @
; j3 W' O6 l( O- Z价钱，非常非常便宜了。
  G+ J, d- F+ t% c
; ?5 `* A) Y$ g& N参考如下可以计算，懒得算了。

https://api-docs.deepseek.com/quick_start/pricing

1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
1M TOKENS OUTPUT(5)                                              $1.10                $2.19
! H. y# ^, O" Z7 k' P9 q: G
5, Balance

可以在程序里调用，知道每次运行结束后，balance还剩多少。
$ S& M1 k# [, f/ h% }& o参考：
https://api-docs.deepseek.com/api/get-user-balance
6 ]3 ?0 k# m, B9 w% O8 B
6, Models
: Y; _) _# O7 \3 o9 u- O
目前就两个
1 j3 o/ X7 s- z' O) [  }- Z3 Q# deepseek-chat
+ ^; h0 J2 T( e, r# V# deepseek-reasoner

8 B' K" @& w. o- j" }  g参考：
; a/ ?  F# t/ Q1 N! Mhttps://api-docs.deepseek.com/api/list-models


7, 问题

deepseek 会将前后两段合成一段。
7 C- o! r0 a" ?5 W' `特别是那种大量的对话的段落，deepseek会给你合成一大段。
# K/ [7 ]% i! d* [
8, 钱说了算。
9 R) w8 ~8 c% l; v1 A
3 ?: S0 Z6 x' {' \4 Tdeepseek 如果是免费的网页版，有时候会出现超出范围的提示，不干了。
* P8 [0 {2 ~# v: i. V( j1 n( h但是API就不会出现这种情况，毕竟我们给钱了。
# e& ]& K& c& ~( o" W# S' hchatgpt也是这样的。

9 ~$ V" j. o% V% B
' O3 H$ @$ i1 C. ^* B4 Z. ~$ m0 C