利用 Deepseek 抓取PDF的文字并矫正。

nanimarcus

- B) j$ H- m' ^( |$ E' C把PDF上传，然后让他抓取文字，并修改可能的错误。
然后deepseek完美的完成了任务。
- P2 p: i5 j  f$ w) t- Z1 R! W1 h( B段落清楚，列清楚，页眉页脚全部去掉。
8 ?4 n* t5 T3 a! R  ?, q1 @我要疯掉了！
赶紧把自己那些成年老书给搬出来，deepseek，这是党和人民考验你的时候了！
====
/ x: k8 d3 u. X: K5 w, k中文也很完美。
经验值，每次十页比较稳定。
$ x8 a" t3 r  ?# z1 F现在我这里API还不能用，等恢复了，全自动了。
====
2 }7 f; a4 ]( I7 {第二次疯掉了！
( W& ]* v% m0 K( L# D我上传英文文件后，让他抓取文字，矫正，然让他按页划分，前面放英文，后面放中文，结果仍然完美。
====
现在我让他从PDF抓取文字，矫正后，按段落翻译，可以一次翻译多个段落，每次翻译不超过一个固定数目，结果仍然完美。
但是任务多了后，每次翻译的页面数是减少的。
: A; r1 U# m% V$ x好吧，我五体投地，继续探索。
) a. L8 j4 M% G1 t7 L- h6 C====
2 @. a9 F" X# a  i) k为了防止中间结束，可以告诉他必须所有页面全部处理完就可以了，我现在是应该佩服我自己呢还是应该佩服 deepseek 呢，抑或都佩服。
3 b) n! l4 @/ x* w; x  S* ?1 T====
好吧，有些东西是不给翻译的，哈哈。
# h/ J, p, G9 ?+ H: C7 t% B
Sorry, that's beyond my current scope. Let’s talk about something else.
5 H& |$ S) e4 Y1 q====
' O* e  I. f& b: h& j: e然后我的英文命令也让deepseek 帮我修改，呵呵。
====
日语的文本他也可以处理，过程一模一样的。问题也是一模一样的，假名太多，汉字很少，我不懂日语，翻出来都不知道对不对。
$ Z& j3 h+ T7 e/ B====
时间段的话，北京时间的下午和晚上用比较好。
9 ^1 r3 V5 [* S" D$ T# J1 d5 S后半夜和早上，美国人上班了，要么在用，要么在黑客攻击。
7 T+ M0 Y' ^) o6 Y, R0 j! S====
5 S; K5 ^& p! y; T用千问吧，非常稳定，非常强大。
+ v# [& m9 f8 b; F/ r6 Fhttps://chat.qwenlm.ai/
$ _  R, `; o( w8 U: v====
Deepseek，API 看上去可用了，但是不给充钱。

马鹿

这功能很赞呀

nanimarcus

马鹿 发表于 2025-2-2 03:53
* Y: {+ I* w  d2 ]这功能很赞呀

4 t, K; c( j  ]5 I5 M简直太赞了，我现在正在思考还有什么工作需要 deepseek 干的，现在的上限是我的上限，不是 deepseek 的上限。

indy

有没有上传整本书试试

nanimarcus

indy 发表于 2025-2-2 04:13
有没有上传整本书试试

目前看来，差不多十页左右就停止了，看看还有什么诀窍不。

马鹿

以后让deepseek 读出土的竹简
( p. j" b5 w. L! O0 M6 b& N
2 S( g' V2 z+ q0 [. @还有把古文翻译成现代白话

3 M% m8 g" h8 h  f8 G以后不认识的字不查字典了， 直接问deepseek

方恨少

请教是如何实现的？
$ `7 }) r" _) q
4 q! O$ l* B; a' C% U% }我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后，发出指令提取文件中文字，始终是文件解析中。直接在DS里问如何上传PDF文件，并提取文件中文字，照做其实是一样的。

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？
) ~1 `4 A; g1 |" C
我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

, q# h5 y( n% Q我现在也上载不了了，"upload failed"，几个小时前还好好的，应该是服务又受攻击所以功能收缩了。
文字之类的没问题。估计deepseek现在暂时只保证主要功能。
美国人就这样，打不过就耍流氓，估计要等一段时间才能完全恢复。
# p+ K: M  E" w$ d9 ^

nanimarcus

方恨少 发表于 2025-2-3 01:23
5 D. z2 K  o& |- S9 y请教是如何实现的？

9 |/ D9 C8 b: Q6 I我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

# s' V, A9 j3 U0 j7 B2 ]https://chat.qwenlm.ai/
试一下千问，估计美国人没有攻击他，所以资源敞开用。
很稳定，质量不错，好像最多一次处理15页。
我直接拿deepseek的指令用，没有区别。

heinsect

试了这个工具，可以转成markdown，正确率很高，有漏行，图片会放在一个指定的目录下。
) s1 j1 H/ `3 Q! p* B/ q处理一本100页左右的扫描版本的中文PDF，一份某行业的接口标准，纯CPU，几分钟时间。
" l! g& ~5 U0 J- g; n9 G9 I! P这个工具不能处理表格，我把文件拖到豆包里，“把这个文件中的表格转换成 markdown。只是表格，不需要其它内容”，表格多的话，要发好多次“请继续”。

https://github.com/oomol-lab/pdf-craft

4 j3 K9 G# ~5 T0 h/ r  W+ m1. 这个工具要求装 python3.10
* z$ e1 o* r5 _! ^7 L# [2. pip install onnxruntime==1.21.0, 有英伟达的卡：pip install onnxruntime-gpu==1.21.0
9 ]& _4 e5 Q9 U" Z0 r5 X' W# y3. pip install pdf-craft
+ e) i4 q1 H/ _, t1 V! [" Q4. 把下面的内容写到一个文件里，例如 a.py

1. from pdf_craft import PDFPageExtractor, MarkDownWriter
   
2. 
   6 m& U2 J! V- x' L& }
3. extractor = PDFPageExtractor(
   
4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
   % Y* I5 y# M, K4 n
5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
   % c! {; b; L7 D4 h" H  J
6. )
   9 d9 A) p9 u7 a0 m$ g2 ^9 G
7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
   8 r  ^6 T- u7 \2 e
8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
   
9.     md.write(block)

复制代码

. Y  A: h$ s. w1 ~7 e
要修改的内容：
9 W) ]9 A' |% n0 m3 J7 \1 d+ Y4.1 /path/to/model/dir/path：存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型，国内的要科学上网，国内的镜像上没这个模型
2 I9 i( j7 X3 ], {1 S) U* C& F7 _4.2 markdown_path：输出的 markdown 路径文件名
4.3 /path/to/pdf/file: 输入的源PDF路径文件名

5. 运行 python3 a.py

nanimarcus

目前为止PDF转纯文字的最佳办法。
先写个小程序，把PDF按章节切成小的PDF。
然后，把PDF一个个传到deepseek，让她抓取，除错，输出。
效果非常好。
; y2 o) ?2 _% G) s8 F1 `9 b5 d
deepseek，qwen，chatgpt 三个，deepseek是最好的。
" k2 }2 R% a7 b- B( N2 y2 `
deepseek 把页脚页眉页号全给去除干净了，跨页的段落也给你修好了。
而且deepseek不会加戏，chatgpt有时候会想当然的加上没有的文字，让句子看上去想那么回事。
2 H9 h$ L" Q8 Y" t1 E; P* G  W; G我曾经修一个历史文章，chatgpt给我活活加了三段，真是文豪。

API到目前为止，差强人意，不如网页版本修得干净。
* N2 F9 l' B. X8 \4 N1 q: ]9 a$ l
deepseek可以同时开四个。

三力思

- ^/ H9 {4 h6 k5 C7 J让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL

nanimarcus

三力思 发表于 2025-4-17 12:26
让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL ...

# g5 W3 C( ~5 Y/ {6 e  h+ g9 a% [细说一下，听上去很不错，多谢。

三力思

nanimarcus 发表于 2025-4-17 16:33
7 \; H+ ?! u5 e# @4 P  @5 ]5 W细说一下，听上去很不错，多谢。

直接问DS，“用C#，JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”

nanimarcus

5 I2 c% W3 V7 u3 ^8 }已经搞定.

首先 PDF 本身已经OCR了，Adobe Acrobat Pro中自带这个功能。

1, python + pypdf 按章节拆分小的PDF

2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile
* p& Q, ]8 ?4 n- ]
得到text file

) }: f" v0 E" F, p$ y$ i3, python 读取整个outputfile，丢给deepseek 矫正。
; c9 H8 R" i3 E3 ]
* k( N+ I4 G$ g# c$ k: o% V模型是 deepseek-chat

max_tokens 最大是 8192，别的不用改。

参考：
! L" n& I2 C2 uhttps://api-docs.deepseek.com/api/create-chat-completion

4，费用：

7 w4 m) t5 e' x7 e. l. i# w实测：
* x7 B' d# }! A7 s0 R: j
296K 字母，用了 9 美分。

英文字母 到 token 用量大约 1/3

% ?- }# k0 r- Y4 c) N" n. gtokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899
" K6 [# ~- Z+ h; n+ n: m
32899 个字母花费 11782 tokens，包含输入输出的 tokens
- u6 N$ {& s& l, [8 C
: @- u0 V8 d, C4 b! Y价钱，非常非常便宜了。
- ]7 N% U% B( w3 N
4 c4 i1 ~6 j6 Y/ e$ n参考如下可以计算，懒得算了。

https://api-docs.deepseek.com/quick_start/pricing
/ ~& K* W# G! _  ^' f
1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
5 Q* K1 m) Q% n! @' m6 G1M TOKENS OUTPUT(5)                                              $1.10                $2.19
- j5 q% D5 R1 E, v. s5 F/ [
5, Balance

可以在程序里调用，知道每次运行结束后，balance还剩多少。
' \. Z0 a" b3 o0 b. M& {参考：
+ u% a% T6 \( o6 t9 w, v' lhttps://api-docs.deepseek.com/api/get-user-balance

; E3 G8 w, s. R6, Models
5 c2 q+ e6 i% z, c% y3 M6 @
0 ~; C- k* w: ]目前就两个
# deepseek-chat
# deepseek-reasoner
2 V6 x+ a- X% |* Z- r. ]: x
参考：
https://api-docs.deepseek.com/api/list-models
5 r% f0 b6 Q7 O+ ]
# q# }/ e% H# t+ y
3 E/ d6 d$ }9 @( ^6 N7, 问题

& M3 N1 G( b. i% @deepseek 会将前后两段合成一段。
特别是那种大量的对话的段落，deepseek会给你合成一大段。
; F+ U5 S- R& G- N) m
8, 钱说了算。

deepseek 如果是免费的网页版，有时候会出现超出范围的提示，不干了。
但是API就不会出现这种情况，毕竟我们给钱了。
! X! K3 I, e7 o$ Schatgpt也是这样的。