设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 3340|回复: 17
打印 上一主题 下一主题

[工程技术] 利用 Deepseek 抓取PDF的文字并矫正。

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2025-2-2 03:35:19 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 nanimarcus 于 2025-2-6 22:17 编辑
- O$ s# c7 j) q: u# X
& T, V) P! P' ]5 _: C8 R. x+ H把PDF上传,然后让他抓取文字,并修改可能的错误。
9 s, I' a2 O9 q然后deepseek完美的完成了任务。. a! Y7 g( v" _9 w5 B1 Q) T1 ~
段落清楚,列清楚,页眉页脚全部去掉。
: c0 o6 o+ M2 [2 B) M" Y3 v  x我要疯掉了!1 b% e* D$ ~* y. G7 p5 f% V& Q4 g
赶紧把自己那些成年老书给搬出来,deepseek,这是党和人民考验你的时候了!
. H; g" B. E  \# h' n====
  V2 k/ w4 K, g% `7 x中文也很完美。; C% f" O! \  H, G' c8 {
经验值,每次十页比较稳定。
5 `- M- L4 K7 V; g- C" b) @现在我这里API还不能用,等恢复了,全自动了。
& R8 l! O1 H. p5 s2 G2 P====
, r$ \# s4 m9 T2 b第二次疯掉了!) E. b/ T4 L! g' a4 ^: q
我上传英文文件后,让他抓取文字,矫正,然让他按页划分,前面放英文,后面放中文,结果仍然完美。
/ f) I! T" [% @) U( I====
8 o. M+ V' h* C/ E6 h, @: {& @' j, u现在我让他从PDF抓取文字,矫正后,按段落翻译,可以一次翻译多个段落,每次翻译不超过一个固定数目,结果仍然完美。
* h" w2 m3 @2 w/ L但是任务多了后,每次翻译的页面数是减少的。: _6 H" p2 s# p' T" a
好吧,我五体投地,继续探索。
; v! z( k& |3 }5 m( _. P/ S====
) r2 h! f( j' i4 `& m" I1 t为了防止中间结束,可以告诉他必须所有页面全部处理完就可以了,我现在是应该佩服我自己呢还是应该佩服 deepseek 呢,抑或都佩服。% u) m+ G* D; V; p) u0 B, o' H
====6 O& y- U' x* r. d4 Q8 n4 ^) g
好吧,有些东西是不给翻译的,哈哈。
! A; t3 G  J- O2 S5 V. p' C# j
$ X( Z6 I) K% E( D: p  FSorry, that's beyond my current scope. Let’s talk about something else.
( M+ n  r+ w2 q, F) o# [/ P% r====
1 d* a4 Z* v1 ]7 K0 Q$ X然后我的英文命令也让deepseek 帮我修改,呵呵。
  R% ~8 E" u6 k) y====
' i: l3 n1 c' h4 K2 l日语的文本他也可以处理,过程一模一样的。问题也是一模一样的,假名太多,汉字很少,我不懂日语,翻出来都不知道对不对。
( F% M1 |' Z$ [6 k& ?2 F====* |  ?1 \4 p9 h( P7 ?  _
时间段的话,北京时间的下午和晚上用比较好。
+ J" f0 c, t9 P) r- J5 `( l  |& ^后半夜和早上,美国人上班了,要么在用,要么在黑客攻击。+ S! d5 n& p: M. M+ Z! O: B0 E1 H" P
====
; n/ @- j3 W( c5 c  B用千问吧,非常稳定,非常强大。2 Q0 x! a8 t* s3 c% r3 s
https://chat.qwenlm.ai/" @# `0 P" {5 _# s
====7 R8 R8 ^4 Q' g8 u7 X% ?) r; a
Deepseek,API 看上去可用了,但是不给充钱。5 m! p! o# B3 H' G
# i1 M6 K; S+ X& D+ v1 b9 p
  \1 F5 K' Y  o4 t4 r) E, I; {# q
3 D3 a8 \4 Z% i! p1 u: P- Z1 P9 h

评分

参与人数 11爱元 +102 学识 +2 收起 理由
testjhy + 10
johnsonjian + 10
helloworld + 10
laser + 10
笑羽 + 10

查看全部评分

  • TA的每日心情
    开心
    17 小时前
  • 签到天数: 3845 天

    [LV.Master]无

    沙发
    发表于 2025-2-2 03:53:32 | 只看该作者
    这功能很赞呀

    评分

    参与人数 1爱元 +10 收起 理由
    indy + 10

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    板凳
     楼主| 发表于 2025-2-2 03:56:21 | 只看该作者
    马鹿 发表于 2025-2-2 03:53
    : K: M4 _8 Y0 M0 Z这功能很赞呀

      G1 K" T! t) o6 P简直太赞了,我现在正在思考还有什么工作需要 deepseek 干的,现在的上限是我的上限,不是 deepseek 的上限。

    点评

    给力: 5.0 油墨: 5.0
    油菜: 5.0
    油墨: 5 油菜: 5
      发表于 2025-2-2 08:23
    给力: 5
      发表于 2025-2-2 04:41

    评分

    参与人数 2爱元 +20 收起 理由
    笑羽 + 10
    indy + 10

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2022-1-1 00:00
  • 签到天数: 793 天

    [LV.10]大乘

    地板
    发表于 2025-2-2 04:13:28 | 只看该作者
    有没有上传整本书试试
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    5#
     楼主| 发表于 2025-2-2 04:27:15 | 只看该作者
    indy 发表于 2025-2-2 04:131 t1 @3 ~: I7 p& ^4 z2 A- N
    有没有上传整本书试试
    . y3 j( V) {3 j
    目前看来,差不多十页左右就停止了,看看还有什么诀窍不。

    评分

    参与人数 1爱元 +10 收起 理由
    indy + 10 谢谢分享

    查看全部评分

    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    17 小时前
  • 签到天数: 3845 天

    [LV.Master]无

    6#
    发表于 2025-2-2 04:41:51 | 只看该作者
    本帖最后由 马鹿 于 2025-2-1 15:43 编辑
    7 g" [( D! e6 A0 D; ~* W
    + W7 ]% U8 A1 a7 A" k. l3 G以后让deepseek 读出土的竹简
      E/ a$ E7 E9 x: j3 |9 T2 S
    # N8 U( }# F" r3 w5 N/ _4 Q还有把古文翻译成现代白话
    3 w5 s. P: e9 q' N1 v. a
    ; `  W1 m. J" X& k+ x以后不认识的字不查字典了, 直接问deepseek
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    16 小时前
  • 签到天数: 3005 天

    [LV.Master]无

    7#
    发表于 2025-2-3 01:23:54 | 只看该作者
    请教是如何实现的?
    8 q& U: Q. \8 m. f& E$ r2 W+ o7 [+ z4 @+ g( W" |
    我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后,发出指令提取文件中文字,始终是文件解析中。直接在DS里问如何上传PDF文件,并提取文件中文字,照做其实是一样的。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    8#
     楼主| 发表于 2025-2-3 03:06:35 | 只看该作者
    方恨少 发表于 2025-2-3 01:23, D) Q; ]  X  d  l
    请教是如何实现的?% \/ Q8 c% h% T2 e6 C" E& t8 z# O

    " z0 b7 z  O6 m我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后 ...

    ( {9 a' z4 R" f" D4 M" l
    3 A6 X# S" D9 u9 m4 _7 f6 S我现在也上载不了了,"upload failed",几个小时前还好好的,应该是服务又受攻击所以功能收缩了。
    : V* K7 v, C" E4 J$ \文字之类的没问题。估计deepseek现在暂时只保证主要功能。  _( t9 h1 A9 P4 h
    美国人就这样,打不过就耍流氓,估计要等一段时间才能完全恢复。0 }( p9 M6 A% o8 w

    点评

    给力: 5.0 涨姿势: 5.0
    给力: 5 涨姿势: 5
      发表于 2025-2-3 03:40
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    9#
     楼主| 发表于 2025-2-5 00:15:37 | 只看该作者
    方恨少 发表于 2025-2-3 01:23
      c$ _0 Z! M) R1 I; g! V请教是如何实现的?
    ' G: n3 w, J! ^" |1 f4 F% u. j4 b* E
    4 r8 s5 f+ C  \5 Y4 f5 a我在网页版和手机版都尝试了,都不行,网页版上传PDF文件始终不成功,手机版上传之后 ...

    ' P1 j9 ~# b$ m7 U! R. y- I2 Zhttps://chat.qwenlm.ai/( P" w8 G# `# A& ^: ~
    试一下千问,估计美国人没有攻击他,所以资源敞开用。4 |, D' k" ?8 |, z: i) \: _6 r( V+ C
    很稳定,质量不错,好像最多一次处理15页。0 H0 I% N( r! b! f* B
    我直接拿deepseek的指令用,没有区别。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    17 小时前
  • 签到天数: 3111 天

    [LV.Master]无

    10#
    发表于 2025-4-16 17:01:29 | 只看该作者
    试了这个工具,可以转成markdown,正确率很高,有漏行,图片会放在一个指定的目录下。
    ' {. G5 R9 H- M' Q6 _" }" C! F处理一本100页左右的扫描版本的中文PDF,一份某行业的接口标准,纯CPU,几分钟时间。
    8 _0 g8 x9 j; w: [0 W9 l这个工具不能处理表格,我把文件拖到豆包里,“把这个文件中的表格转换成 markdown。只是表格,不需要其它内容”,表格多的话,要发好多次“请继续”。
    ( W+ ?% S+ K. Q& S# r/ y7 R/ {. O
    ( Q1 q9 J6 i6 C! y. ]https://github.com/oomol-lab/pdf-craft6 `+ e4 M# a) K: N/ m5 @

    ! Y$ ]$ _' Q: U3 l1. 这个工具要求装 python3.10& y# V4 c  G% q- g$ B
    2. pip install onnxruntime==1.21.0, 有英伟达的卡:pip install onnxruntime-gpu==1.21.0
    % S) X3 T' a$ S: ]. a) D" J3. pip install pdf-craft
    ) X; |  w+ Y4 j8 S( U3 F4. 把下面的内容写到一个文件里,例如 a.py. h, W& Y0 S% E
    7 P" V8 l3 R! G5 R7 P( Z
    1. from pdf_craft import PDFPageExtractor, MarkDownWriter) L, o/ y: E! b# d

    2. . l3 L' ^9 b1 `" G" w$ O
    3. extractor = PDFPageExtractor(
      3 _" a: Z5 t/ g
    4.   device="cpu", # If you want to use CUDA, please change to device="cuda" format.. p! D; l# v/ @" a& e- B
    5.   model_dir_path="/path/to/model/dir/path", # The folder address where the AI ​​model is downloaded and installed5 F/ F, k/ z" y* r; b9 y4 C
    6. )
      1 k8 ~. _$ F( x$ V! e( `
    7. with MarkDownWriter(markdown_path, "images", "utf-8") as md:
      ! O5 Z4 Q: T2 S8 q7 R
    8.   for block in extractor.extract(pdf="/path/to/pdf/file"):! E& m9 G3 j( U1 K1 K& `& J
    9.     md.write(block)
    复制代码
    . }& P  ^$ |8 H# O  c8 t; M
    / F* {$ v0 W$ L
    要修改的内容:
    4 v/ ^, l* I% c9 k; D. g4.1 /path/to/model/dir/path:存放模型的路径。第一次运行这个脚本会从 huggingface.co 下一个模型,国内的要科学上网,国内的镜像上没这个模型, j* b6 D. D9 R8 {, J- o
    4.2 markdown_path:输出的 markdown 路径文件名9 x6 H0 I, m- A: H. t% m; l9 `
    4.3 /path/to/pdf/file: 输入的源PDF路径文件名
    2 Q; q; F* `+ H( j; r8 e0 X" r# J' C
    5. 运行 python3 a.py

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 1 反对 0

    使用道具 举报

    该用户从未签到

    11#
     楼主| 发表于 2025-4-16 19:47:30 | 只看该作者
    本帖最后由 nanimarcus 于 2025-4-16 19:50 编辑 $ E( _, J/ y2 E; l

    7 G1 {; k+ t9 i. z) Z$ ?: O6 S6 E目前为止PDF转纯文字的最佳办法。
    : c5 K, ~( Q5 H" C% o先写个小程序,把PDF按章节切成小的PDF。
    7 [2 M$ g+ E" n1 m3 F然后,把PDF一个个传到deepseek,让她抓取,除错,输出。" Z3 W/ D( ~1 R4 f; J) X
    效果非常好。
    3 K1 ^' y# U: H9 R& m5 C8 e% \  b' f. y& V
    deepseek,qwen,chatgpt 三个,deepseek是最好的。: P/ c6 f" O6 u- r& [! ?
    0 ~6 I4 R6 Q5 W' T! z
    deepseek 把页脚页眉页号全给去除干净了,跨页的段落也给你修好了。
    3 H; B* z) X3 g而且deepseek不会加戏,chatgpt有时候会想当然的加上没有的文字,让句子看上去想那么回事。
    - q; M# c# B+ Q7 g" c我曾经修一个历史文章,chatgpt给我活活加了三段,真是文豪。  W4 b0 V& U" `' c
    6 F7 c2 a9 F) x  `
    API到目前为止,差强人意,不如网页版本修得干净。9 x  z0 l: Y9 B* _# X) [
    4 p# e; v7 l  @1 R+ `
    deepseek可以同时开四个。
    + D- ^& }+ r1 F, W5 H$ \

    评分

    参与人数 1爱元 +4 收起 理由
    唐家山 + 4

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    12#
    发表于 2025-4-17 12:26:23 | 只看该作者
    本帖最后由 三力思 于 2025-4-17 12:27 编辑 & M" k* q  {, i
    ; D) x; s+ @- m8 u! x% Z0 D: H
    让Deepseek给你开发本地架构的抓取PDF软件,并负责上传,下载。 AI监工AI。 LOL
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    13#
     楼主| 发表于 2025-4-17 16:33:20 | 只看该作者
    三力思 发表于 2025-4-17 12:26
    3 a4 e, s# M8 @" b7 b% c让Deepseek给你开发本地架构的抓取PDF软件,并负责上传,下载。 AI监工AI。 LOL ...

    7 Y8 T/ O' U2 z细说一下,听上去很不错,多谢。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    14#
    发表于 2025-4-17 21:22:24 | 只看该作者
    nanimarcus 发表于 2025-4-17 16:33
    # U5 r& i: A0 n0 r1 A3 r; ~细说一下,听上去很不错,多谢。

    7 q8 [3 p# V$ y8 z直接问DS,“用C#,JAVA语言开发把PDF分成单页PDF并上传DS程序的源代码”
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    15#
     楼主| 发表于 2025-4-17 21:55:57 | 只看该作者
    本帖最后由 nanimarcus 于 2025-4-18 15:39 编辑
    5 a- M5 f% V8 P8 U/ ~' ]9 w2 s' n0 a: A
    已经搞定.
    7 R! ~3 y4 O' g& d0 b. r* ]: b! D: u3 O. W) d4 P
    首先 PDF 本身已经OCR了,Adobe Acrobat Pro中自带这个功能。
    , I2 x- F, x0 r( f4 g7 M' n& l# A' u: Z8 c
    1, python + pypdf 按章节拆分小的PDF
    * o" O8 o- ?0 d$ `+ x, a- Q) k) L* q* q/ L( I5 n- y# A
    2, pdftotext -enc UTF-8 -nopgbrk -eol dos input outputfile, b6 t+ S1 E: s! Z1 C! q7 w

    ! i$ g4 j6 K. L* X8 g$ K得到text file
    2 t( W2 F! O1 L; B8 k5 m
    . R; g4 d" q! T1 L7 q3, python 读取整个outputfile,丢给deepseek 矫正。5 r. K+ S! r2 a1 z

    . n) K. `3 [/ \  y+ v模型是 deepseek-chat
    0 I) F( G' L8 P4 I
    $ X, r- i5 [1 A, _max_tokens 最大是 8192,别的不用改。
    5 I0 Q0 M% _. W" J+ h& X0 F7 P4 Z
    : ~7 O/ Y7 r. J% c' u( H: t! q参考:  F$ s; S- Z3 _3 ^2 p  K- q. V
    https://api-docs.deepseek.com/api/create-chat-completion( E; I+ U: x$ n% L  ~# X
    : R/ S2 e1 v: a; {+ R
    4,费用:
    . e) [1 T+ C. E1 e5 C
    ; o7 ~$ g' u9 |; {" o实测:; {  P) _+ h. S
    7 p$ U! e, s: g( H
    296K 字母,用了 9 美分。% s" H. L. V" x7 N9 b

    ( s  W1 x5 H5 r# L3 O英文字母 到 token 用量大约 1/3$ S* `' O$ b, i5 Q0 x. L) m
    + D9 B$ j2 p9 a
    tokens: total, 11782 completion,  3729 prompt,  8053 | s:  328991 f( Q4 J0 s4 d$ e& E# i, i
    0 D+ g3 ~/ C9 Z8 {
    32899 个字母花费 11782 tokens,包含输入输出的 tokens% e- b" ^' }& }: j6 C' j* n, p2 t

    ; Z! l- `4 |8 L7 z  u0 h价钱,非常非常便宜了。
    , L" N& P9 w) E" \9 b7 ?& l. o3 |  R
    参考如下可以计算,懒得算了。- m9 w+ N5 o& X9 e% w$ g, Y
    ! }+ _5 a) {' {' d
    https://api-docs.deepseek.com/quick_start/pricing- o5 q4 u# B; m5 f# ]

    7 k5 l/ z' B) u1M TOKENS INPUT (CACHE HIT)(4)                $0.07                $0.148 j$ G8 ^$ K" J. e
    1M TOKENS INPUT (CACHE MISS)                  $0.27                $0.55
    6 m9 h/ @  l2 ]! k4 ?. M" q1M TOKENS OUTPUT(5)                                              $1.10                $2.19# L( r2 v$ B, l5 w  P
    ( B; ^6 J5 {' x4 F9 s, g1 S
    5, Balance0 F/ L; `6 T% G* q

    7 z5 e6 u3 K4 x  Z可以在程序里调用,知道每次运行结束后,balance还剩多少。5 t9 I5 e; J8 x8 s* y3 ?
    参考:% a6 w9 s! ^* \. Y; g2 j& q$ {
    https://api-docs.deepseek.com/api/get-user-balance& A# j7 c" }% v* z0 {
    % U' p3 N' J9 j; {
    6, Models
    - C. t) Z7 H# I7 s' Q1 }3 ^# P4 V3 ~& e0 S; {
    目前就两个
    5 i. f; `9 W1 D6 S' I" i* A% V! V2 b; ?# deepseek-chat
    / I9 |- ?8 V+ D+ a  S4 A6 ~$ B  d# deepseek-reasoner
    ( i  ^1 }- R2 n% W" O8 `5 j) V0 J* C% G
    参考:, K- s% x8 y' k( C
    https://api-docs.deepseek.com/api/list-models
    9 U& m/ v& \- ?" r. s2 u: H6 I0 p- U& B& h+ k( y/ f7 w
    7 P5 m2 t3 W% m  f
    7, 问题
    . J* G4 ]7 g+ l* m+ ~8 C4 G4 B/ I" j: Z3 W4 d6 L3 j
    deepseek 会将前后两段合成一段。! r$ Y% X0 f+ E7 b# d3 ]
    特别是那种大量的对话的段落,deepseek会给你合成一大段。7 G6 z5 N* ?+ W
    . r/ w; q* l/ y1 s6 U3 x$ H# D; z& u
    8, 钱说了算。1 n7 E& g0 }; s: V& J- Q

    / }# g, E- F( U$ K/ E: j$ ddeepseek 如果是免费的网页版,有时候会出现超出范围的提示,不干了。
    ( D( {2 S" L# g% u' m/ Q5 V9 s) g但是API就不会出现这种情况,毕竟我们给钱了。
    1 U3 z- L4 H3 T! _1 {0 Kchatgpt也是这样的。
    & p! j) S, Q* M% y: L
      m: U* b( }! P0 Y7 W1 a- E) @+ Y& X6 R

    评分

    参与人数 2爱元 +14 学识 +2 收起 理由
    唐家山 + 4
    老票 + 10 + 2 给力

    查看全部评分

    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2026-7-14 17:14 , Processed in 0.070585 second(s), 19 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表