利用 Deepseek 抓取PDF的文字并矫正。

nanimarcus

把PDF上传，然后让他抓取文字，并修改可能的错误。
8 {: k. j* Z6 X8 e+ f然后deepseek完美的完成了任务。
5 F4 Z7 _& q  [  g: c段落清楚，列清楚，页眉页脚全部去掉。
我要疯掉了！
3 u) ]3 z4 U; M- A, d' C赶紧把自己那些成年老书给搬出来，deepseek，这是党和人民考验你的时候了！
# ^6 x0 @/ n5 G. A* b0 d) v3 e====
- ~. P, `+ ~) g& n" I' z中文也很完美。
- y4 Y5 Z. F) x4 X! B2 X经验值，每次十页比较稳定。
现在我这里API还不能用，等恢复了，全自动了。
; Z  Q) @7 H3 s8 r5 v+ i* |7 L====
1 H9 Z" c* H$ @第二次疯掉了！
; b9 k/ I( I: ]3 k; s) f: K' a我上传英文文件后，让他抓取文字，矫正，然让他按页划分，前面放英文，后面放中文，结果仍然完美。
====
1 C( c9 N5 L5 q- x* z现在我让他从PDF抓取文字，矫正后，按段落翻译，可以一次翻译多个段落，每次翻译不超过一个固定数目，结果仍然完美。
. R3 p# U; O$ f# `+ Y* {5 _但是任务多了后，每次翻译的页面数是减少的。
6 n  a. j( P2 e$ i6 ?8 `, K# ^好吧，我五体投地，继续探索。
* _3 _# i% x: G====
; _  x) h, T: p: L1 C+ f为了防止中间结束，可以告诉他必须所有页面全部处理完就可以了，我现在是应该佩服我自己呢还是应该佩服 deepseek 呢，抑或都佩服。
====
- t2 D3 c9 d* f' g6 h好吧，有些东西是不给翻译的，哈哈。
" J6 T( D2 L$ F
. D7 |% p( ]' O, Z* Y- ~Sorry, that's beyond my current scope. Let’s talk about something else.
====
然后我的英文命令也让deepseek 帮我修改，呵呵。
====
日语的文本他也可以处理，过程一模一样的。问题也是一模一样的，假名太多，汉字很少，我不懂日语，翻出来都不知道对不对。
====
时间段的话，北京时间的下午和晚上用比较好。
2 G5 F5 Q. h# H8 D后半夜和早上，美国人上班了，要么在用，要么在黑客攻击。
+ p* B- \* q" @' g====
3 w; `) Y0 v  T: P. _4 C用千问吧，非常稳定，非常强大。
https://chat.qwenlm.ai/
' y( Y4 M+ x, t+ V( n9 q; h====
Deepseek，API 看上去可用了，但是不给充钱。


! A' c+ B6 @. d/ G- h! p

马鹿

这功能很赞呀

nanimarcus

马鹿 发表于 2025-2-2 03:53
7 }4 F$ ~0 r5 t0 S/ [+ R3 P这功能很赞呀

简直太赞了，我现在正在思考还有什么工作需要 deepseek 干的，现在的上限是我的上限，不是 deepseek 的上限。

indy

有没有上传整本书试试

nanimarcus

indy 发表于 2025-2-2 04:13
有没有上传整本书试试

目前看来，差不多十页左右就停止了，看看还有什么诀窍不。

马鹿

3 _& T1 j: `9 [3 _0 I' ]' @/ o
( ?, K1 Z# }2 l* _8 D7 k以后让deepseek 读出土的竹简
! N& v' d0 k* i7 R; t$ r/ i/ d
  p$ \' b( R8 a1 n  A2 F还有把古文翻译成现代白话
% X+ s# Y( a- Y; C- @: Y" b0 _0 T" h
* E! u1 E" I# s6 `/ |以后不认识的字不查字典了， 直接问deepseek

方恨少

请教是如何实现的？
8 z0 O0 L% m7 s: d' w
3 n* w( Z- H* N- l我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后，发出指令提取文件中文字，始终是文件解析中。直接在DS里问如何上传PDF文件，并提取文件中文字，照做其实是一样的。

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？

我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

5 H( T& U( g3 J" q8 t0 w! A' [
; J( s$ V# g* ^' `8 Y: E我现在也上载不了了，"upload failed"，几个小时前还好好的，应该是服务又受攻击所以功能收缩了。
) w  n3 o  h6 }. z+ Q/ Z; s  M- p! [文字之类的没问题。估计deepseek现在暂时只保证主要功能。
3 M$ R6 d! D; i% s5 C: f美国人就这样，打不过就耍流氓，估计要等一段时间才能完全恢复。

nanimarcus

方恨少 发表于 2025-2-3 01:23
请教是如何实现的？

我在网页版和手机版都尝试了，都不行，网页版上传PDF文件始终不成功，手机版上传之后 ...

& ^8 Z* Y& g- x# H- T9 b+ rhttps://chat.qwenlm.ai/
试一下千问，估计美国人没有攻击他，所以资源敞开用。
很稳定，质量不错，好像最多一次处理15页。
我直接拿deepseek的指令用，没有区别。

heinsect

试了这个工具，可以转成markdown，正确率很高，有漏行，图片会放在一个指定的目录下。
处理一本100页左右的扫描版本的中文PDF，一份某行业的接口标准，纯CPU，几分钟时间。
这个工具不能处理表格，我把文件拖到豆包里，“把这个文件中的表格转换成 markdown。只是表格，不需要其它内容”，表格多的话，要发好多次“请继续”。
/ `: {6 J5 f3 F+ P) b5 r. L
  a4 H3 p1 _3 o0 |' u' a$ Q/ Jhttps://github.com/oomol-lab/pdf-craft
& A0 |: H6 _% Q9 Y0 f8 C, ]8 ?
1. 这个工具要求装 python3.10
* u; I) B6 U6 _+ d, r/ ^, b2. pip install onnxruntime==1.21.0, 有英伟达的卡：pip install onnxruntime-gpu==1.21.0
3. pip install pdf-craft
1 [' p/ L1 O. o! e. W4. 把下面的内容写到一个文件里，例如 a.py
1 c' a$ L' [$ ^3 k

1. from pdf_craft import PDFPageExtractor, MarkDownWriter
   # F$ I( h! w2 ]. d3 M
2. 
   * i4 p0 M+ w) [. Y  T0 q: Q7 a
3. extractor = PDFPageExtractor(
   ; c* J5 K- {: }9 g/ {
4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.
   + Y; K1 G" ]- E) H1 d) C
5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed
   
6. )
   
7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
   6 S" k/ t- ^! R1 b, a, z4 {
8.   for block in extractor.extract(pdf="/path/to/pdf/file"):
   
9.     md.write(block)

复制代码

要修改的内容：
; {* ~8 W( D1 p4.1 /path/to/model/dir/path：存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型，国内的要科学上网，国内的镜像上没这个模型
6 u: D  C& R6 O' `+ p4.2 markdown_path：输出的 markdown 路径文件名
( k0 j) y1 X0 R4.3 /path/to/pdf/file: 输入的源PDF路径文件名

/ z3 S, `) I# n% h/ [: l# I7 L' \5. 运行 python3 a.py

nanimarcus

8 S% V3 N( }% A" @: k" C7 Q7 a
目前为止PDF转纯文字的最佳办法。
7 s8 B- [4 j7 B) i! D先写个小程序，把PDF按章节切成小的PDF。
% X1 ]! _4 u/ V- b  i4 g然后，把PDF一个个传到deepseek，让她抓取，除错，输出。
# Y- A  K8 @/ l% ~效果非常好。
7 [5 u# ?( O+ j( C+ _
deepseek，qwen，chatgpt 三个，deepseek是最好的。
3 }2 {9 o7 Q) z. t. J/ r" V" O% t# D
( |- ^- ]9 S: U( G" Tdeepseek 把页脚页眉页号全给去除干净了，跨页的段落也给你修好了。
而且deepseek不会加戏，chatgpt有时候会想当然的加上没有的文字，让句子看上去想那么回事。
$ S% B6 c' `3 Q* i, ~( q我曾经修一个历史文章，chatgpt给我活活加了三段，真是文豪。
2 N0 ~6 W* @: E9 {6 r; j
$ E. B8 V3 P8 @: {3 wAPI到目前为止，差强人意，不如网页版本修得干净。
" i, i5 ^% _( ]$ F
' T' N) I5 y$ N+ pdeepseek可以同时开四个。
3 j2 K* j6 S7 j3 f- b$ G

三力思

, q5 _9 j( w. f7 S让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL

nanimarcus

三力思 发表于 2025-4-17 12:26
让Deepseek给你开发本地架构的抓取PDF软件，并负责上传，下载。 AI监工AI。 LOL ...

' }. I* m7 T: I细说一下，听上去很不错，多谢。

三力思

nanimarcus 发表于 2025-4-17 16:33
, i6 p3 D8 }8 m. x5 Y细说一下，听上去很不错，多谢。

! j7 b! q" p0 s& K  F$ K直接问DS，“用C#，JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”

nanimarcus

已经搞定.

首先 PDF 本身已经OCR了，Adobe Acrobat Pro中自带这个功能。

! b" Z" l" X2 `. K1, python + pypdf 按章节拆分小的PDF
( v& x, s4 `8 o* y
2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile

: Z1 z' x/ r3 F) @" D. [, v" y得到text file
, A0 Z) B; z9 c9 _; C+ A
3, python 读取整个outputfile，丢给deepseek 矫正。
; u* U  r$ l/ b( V7 |
模型是 deepseek-chat

max_tokens 最大是 8192，别的不用改。
% n" x& \. M3 O) {5 Y( [" D9 w2 Z" _
参考：
7 z1 D  P' U) G1 r" phttps://api-docs.deepseek.com/api/create-chat-completion
8 h# W  {% W# m. a6 P% B0 A
! P) U5 ?2 @) i, J: S+ R4，费用：
4 O/ W. y" ]6 x$ u
" u+ K+ o% a% o实测：
# u2 H/ k0 W+ |' t8 r
296K 字母，用了 9 美分。

英文字母 到 token 用量大约 1/3
3 u8 I" x+ r3 \$ E! m
tokens: total, 11782 completion,  3729 prompt,  8053 | s:  32899

32899 个字母花费 11782 tokens，包含输入输出的 tokens

2 f! W1 n5 ~5 i  K9 J价钱，非常非常便宜了。
  X$ ~+ y# _/ B- c' @
参考如下可以计算，懒得算了。

https://api-docs.deepseek.com/quick_start/pricing
. U5 V5 \( F, X1 [8 Y+ H: T) K% c
0 N) n$ w7 M5 d& k5 G4 b: ?  M: |1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.14
$ P0 [% B9 K1 z9 g" _# z1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
, a+ N! m. a8 n) I- M' a1M TOKENS OUTPUT(5)                                              $1.10                $2.19

5, Balance
9 g) v9 y" s" O# N" N
可以在程序里调用，知道每次运行结束后，balance还剩多少。
参考：
https://api-docs.deepseek.com/api/get-user-balance

+ c# H/ X# R2 _" P3 Y+ z6, Models
5 O# [7 _% T" K$ s8 c$ w2 w
目前就两个
# deepseek-chat
# deepseek-reasoner
$ n, Q* j$ k/ R3 F& v; J7 ]# m
" G. u7 ]# Y9 Y4 o% R参考：
  L" G6 \6 E+ ^& Ahttps://api-docs.deepseek.com/api/list-models


" r* h3 W2 u( I7, 问题

deepseek 会将前后两段合成一段。
' z% K, S6 ~, Y4 u, S特别是那种大量的对话的段落，deepseek会给你合成一大段。
5 p- O2 a% H( I# _% h! h  b0 c
8, 钱说了算。

deepseek 如果是免费的网页版，有时候会出现超出范围的提示，不干了。
  E7 N* A, V& P9 V, L7 K! @5 m但是API就不会出现这种情况，毕竟我们给钱了。
* P* A/ a7 ]: t+ i1 qchatgpt也是这样的。

: I* @8 p( c7 H4 u5 O9 ~% l5 H