设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 3311|回复: 16
打印 上一主题 下一主题

[信息技术] 集腋成裘

[复制链接]
  • TA的每日心情
    奋斗
    2021-4-20 05:43
  • 签到天数: 300 天

    [LV.8]合体

    跳转到指定楼层
    楼主
     楼主| 发表于 2021-4-2 14:26:39 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    信息爆炸的时代,如何获取有价值的内容,成为每个人获取竞争优势的关键。而知识的日益碎片化,令这一任务变得更加艰巨。/ g/ M! {, U+ _2 ?* w
    ! f5 G: Q" v9 O4 p& y  o) n& [
    计算机和AI,大大丰富了我们对信息进行筛选、整理和分析的手段,比如搜索,比如自动学习。技术的另一面,Deep Fake正在产生更加海量的“虚构”信息,比如论文、比如视频。这使得原始数据都已经被污染和人为操控。
    2 n8 w% n! L1 M6 B% P! h2 g
    % }; Y. y: z' y9 J野蛮生长的互联网巨兽,掌握了我们海量的数据,他们甚至比我们自己还了解自己。那些本属于我们的数据,被他们利用以牟利;还被禁锢在他们的私有网络,甚至我们自己都不能访问。
    8 z; F% J+ a( _. k# p; b+ I) J' C$ [: ?- T5 z+ Q
    在信息的海洋里,我们如同一叶扁舟。周围都是水,却缺少可以饮用的淡水。我们被各种知识充斥着,忙碌着;却很难静下心来,真正的去分析、理解,从而升华我们的思想和知识体系。我们貌似极度自由,可以获取几乎所有信息,但又深陷在信息茧房,慢慢失去了思辨力和想象力。尤其是算法推荐的出现,让我们愈加偏执,远离真相。
      ^- S" @9 H2 R1 x- T& t: F
    % Y/ O3 Q3 j% O( T( b2 p$ K$ n8 o我是有点收集癖和整理控,就更加苦恼。好不容易搞明白一个技术问题,却没有记录下来,或者忘记记在哪里了;写了文章,留在网站上,自己想去看,网站可能都没了。信息那么多,属于自己的有多少?! v/ k5 J4 p7 G- ^4 [* Y

    5 x4 q% e! ?, j5 e2 @% N8 d( [3 o) Y我曾经尝试过很多方法,比如把知识点滴记录在笔记本上,比如写成Latex/Markdown文档,然而都有不少问题。那为什么不自己做一个让自己满意的知识整理系统呢?去年疫情憋在家,开干!
    : O+ a2 G7 A7 `7 W; Q# ]% ?# J! X; T" r# n, o! x
    第一个要求:结构化。非结构化的数据是很难分析和整理的,将数据结构化,开始会付出多,但之后就方便多了。这有个问题:不同的内容,结构化是不同的。比如文章包括标题、正文、作者等;Covid19统计数据就包括国家、日期、新增死亡、新增确诊等。支持给定结构的系统是容易的,我之前也做过日记、照片分享的网站;支持任意结构数据,是很难的。却又是必须的,灵活性是第一的。我今天要记录博客文章,两分钟搞定;明天要记录新闻,两分钟搞定!+ p# l& K) ^# W% F; X' q; b

    2 ?$ [# L% G" F( i6 c第二个要求:自己做主。我的数据,我做主。所有数据我拥有和控制,哪天不想用这个系统了,随时打包数据走人。
    - w" e6 V, b: z# r  _& B+ e; j* z! b' G" m
    第三个要求:共享性。一方面是是方便讲自己的数据分享给别人,另一方面是方便群体合作整理信息。比如我很想整理一下中国流失海外的文物信息,但这个肯定不是我一个人能干的。. V9 P4 v6 V/ C& ~% v! g
    5 J) V9 C8 W8 ?4 P4 ^; L& u$ ?
    第四个要求:易用性。一些常见的操作,系统要支持。比如转为PDF/Markdown,数据的可视化画图,数据的自动化处理等。0 ?/ x% L) v/ {# ], q; c
    8 W$ g  ~2 e2 _1 v5 Q7 m
    IT人的项目一定会延期的,尤其是这种有一搭没一搭的,稀稀拉拉做了快一年,终于有个样子了。结构化部分花的时间最多,用户可以自己定义数据结构,支持基本的类型,如数字、文字、枚举等,也支持Markdown,HTML等格式,以及常用的图片、视频、国家等等。这部分相当于自己搞了一个简版的ORM,很少有人这么搞,资料也不多。之后加入了数据导出导出,各种格式转化,画图等。最后稍微加了一点社交属性,评论、标签、好友、权限管理等。
    # b, W5 X& h( q5 Q+ W% r" q  U. }5 p% }0 j. v6 F  q
    这个过程中,其实学了不少东西。尤其是之前很讨厌的前端界面。同时,作为正式项目的技术验证,尝试最新的技术软件,收获不少。  ~: v" G: j- d8 n

    5 z! o6 h* Z/ K, Y) Z1 I! w8 a作为测试,自己用了一段时间。一个方面是做技术笔记,Markdown是目前找到最合适的格式;还有就是记录自己的文章,以及新闻、视频等;有些统计数据,比如COVID19数据,也很感兴趣,但还没怎么弄。至于这些数据整理之后有什么用处呢?现在还不太明显。技术笔记让我养成了比较好的习惯,免得做过的东西之后又忘记了。整理的《芳斯塔芙》的视频,外甥很喜欢。还有就是公司内部的简易bug系统,不用再折腾装别人软件或者自己从头搞。. L5 X9 N6 l+ E/ i
    4 n' m. [% m1 w2 q
    坚持一件事情,真的挺难的,尤其是没人逼着的时候。曾经几次想放弃,曾经多次想,我费劲收集这些有用吗?希望自己能坚持下来,集腋成裘,希望能够帮助自己进步和提高。其实很多研究都是基于枯燥的数据收集和整理,没有第谷老师几十年的观测数据,开普勒也搞不出行星三大定律。归纳法也是重要的研究方法。现在所谓的大数据很多经历也是花在数据清理和结构化上。以此自勉。
    ( R& A5 W; ?; h+ }9 b- S9 x6 i' {! s/ @6 O& P' D/ A
    下一步打算支持一个开放的API,这样方便自动化以及和别的系统集成。之后做一下APP,毕竟现在Web用户越来越少了。数据上,打算整理一下COVID19各国数据,还有就是波士顿圆脸的视频和笔记等。0 s) A0 a% f# m1 H

    5 E) p+ H2 G  F2 _最后说一下网址是 https://shujuqiu.com。如果有同好,一起做,也是一种鼓励和督促,内心还可以小得意一下。现在普通用户的数据是公开的,如果需要设置为私密,可以留言给你们设置为VIP用户。! t* }7 l0 Y" j1 E% |
           

    评分

    参与人数 11爱元 +92 收起 理由
    testjhy + 10
    兰芷 + 10
    东湖珞珈 + 8
    料理鼠王 + 10
    indy + 8

    查看全部评分

    该用户从未签到

    沙发
    发表于 2021-4-2 23:13:04 | 只看该作者
    收集癖怎么治
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    板凳
    发表于 2021-4-2 23:14:07 | 只看该作者
    UI 很让人头痛怎么治
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2021-4-20 05:43
  • 签到天数: 300 天

    [LV.8]合体

    地板
     楼主| 发表于 2021-4-3 03:48:50 | 只看该作者
    捣江湖 发表于 2021-4-2 23:13. s& x5 P5 L+ \0 K" a9 k6 _. x: A& N* \
    收集癖怎么治
    - I( w; f5 }: }- J: @5 Z
    买个大房子+两个大硬盘
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2021-4-20 05:43
  • 签到天数: 300 天

    [LV.8]合体

    5#
     楼主| 发表于 2021-4-3 03:49:09 | 只看该作者
    捣江湖 发表于 2021-4-2 23:14
    9 I% T8 p3 S  t0 G& |3 \/ u+ zUI 很让人头痛怎么治
    8 F; v$ }1 M9 H% M4 \1 Q
    我也头疼UI
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    6#
    发表于 2021-4-3 06:51:01 | 只看该作者
    可梦之 发表于 2021-4-2 13:48* [; X1 Y* O- t, D
    买个大房子+两个大硬盘
    ( T3 Z9 U( u6 b
    我刚给NAS扩容,现在有24T了,RAID后实际可用18T,够对付一阵子了
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2021-4-20 05:43
  • 签到天数: 300 天

    [LV.8]合体

    7#
     楼主| 发表于 2021-4-3 06:54:30 | 只看该作者
    晨枫 发表于 2021-4-3 06:51
    # K5 D- Z/ e( H' r! {) h5 A# q我刚给NAS扩容,现在有24T了,RAID后实际可用18T,够对付一阵子了
    9 g5 W/ e1 l8 O3 ]9 P
    你可能太多照片了吧。我两个4T硬盘,足够装所有的了。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    8#
    发表于 2021-4-3 07:53:43 | 只看该作者
    晨枫 发表于 2021-4-3 06:51
    2 ]3 i" k. O/ F" `/ e我刚给NAS扩容,现在有24T了,RAID后实际可用18T,够对付一阵子了

    + J3 u5 |7 s( W9 z/ v) `6 n1 ]豪,我很好奇里面都装的啥
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    9#
    发表于 2021-4-3 08:24:41 | 只看该作者
    我觉得 应该精简你收集到的信息,除去垃圾信息,无关生死的信息。我指的那种,比如把你扔到另一星球,你一个人要从头开始复制一个社会所需的信息(我指的是这种重要级别的),形成一颗信息树(可用mind 思维导图之类的开始),存储主干,不重要的信息或者没必要存储,不然想收集存储容器总是不够的。3 J0 k9 Y0 p! |: G6 o) Z* I: r

    ; |# G" A0 ~3 K+ K+ e电视剧《星际之门》中有一集是地球被毁灭,人类在最后时刻下载数据中心的数据,然后一大批数据都没有下载完就被迫撤退。

    点评

    给力: 5.0 涨姿势: 5.0
    给力: 5 涨姿势: 5
      发表于 2021-4-3 10:33
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    10#
    发表于 2021-4-3 08:52:56 | 只看该作者
    捣江湖 发表于 2021-4-2 17:530 u9 U2 |1 W" l/ e
    豪,我很好奇里面都装的啥

    & S' Q* }7 k9 u主要是旅游的照片。一般文件哪来那么多
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    11#
    发表于 2021-4-3 08:53:55 | 只看该作者
    可梦之 发表于 2021-4-2 16:54. S. b. q4 m# o" @  I
    你可能太多照片了吧。我两个4T硬盘,足够装所有的了。
      y. D, Y* c7 Y1 C2 t: [- e
    就是照片多。我还习惯RAW和JPG同时留下,体积更大。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2021-4-20 05:43
  • 签到天数: 300 天

    [LV.8]合体

    12#
     楼主| 发表于 2021-4-3 10:25:42 | 只看该作者
    捣江湖 发表于 2021-4-3 08:24" }# H8 H) V. ^" x
    我觉得 应该精简你收集到的信息,除去垃圾信息,无关生死的信息。我指的那种,比如把你扔到另一星球,你一 ...

    9 @5 I2 Z: ~+ P" X对,删数据比存数据难多了。但是有用没用的一起存,有用的也找不到变成没用的了。
    3 I, g) E3 u6 ~/ h" R4 E- y$ q% U8 X6 B5 `) W. M
    xmind我也很喜欢,将来想做一个自动生成思维导图的功能。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2021-4-20 05:43
  • 签到天数: 300 天

    [LV.8]合体

    13#
     楼主| 发表于 2021-4-3 10:26:39 | 只看该作者
    晨枫 发表于 2021-4-3 08:53
    % Z# N2 J2 m+ ]6 l% S3 P, z; A就是照片多。我还习惯RAW和JPG同时留下,体积更大。
    & s+ o- V, x5 q4 B/ _3 q
    RAW就太大了。我一般是存原尺寸的JPG和缩小的(1080p)的JPG,后者放在电脑、手机上随时查看。原版的放在备份硬盘上。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    14#
    发表于 2021-4-3 10:51:03 | 只看该作者
    可梦之 发表于 2021-4-2 20:26
    # r. X( N1 M: F/ TRAW就太大了。我一般是存原尺寸的JPG和缩小的(1080p)的JPG,后者放在电脑、手机上随时查看。原版的放在 ...

      [- V' {' I8 A. D/ J4 e& w; W我的NAS只存RAW和原尺寸JPG,缩小的JPG存在PC硬盘上,还有一个1T SSD(系统和常用文件)、1个2T、2个500GB的硬盘,都是以前逐步升级后留下的,闲着也是闲着,反正HD bay还有空间,能装多少装多少。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    15 小时前
  • 签到天数: 2995 天

    [LV.Master]无

    15#
    发表于 2021-4-3 14:22:35 | 只看该作者
    同收集癖,古典音乐视频爱好者,被迫放弃蓝光,对其进行X256压缩,即使这样,现在大约有12T,好在去年欧美几乎没有现场演出,一年多没有用太多空间,好在现在18T的硬盘也不太贵了,
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2021-4-20 05:43
  • 签到天数: 300 天

    [LV.8]合体

    16#
     楼主| 发表于 2021-4-3 17:32:46 | 只看该作者
    testjhy 发表于 2021-4-3 14:22
    # k5 O* ?. d" P/ L) d同收集癖,古典音乐视频爱好者,被迫放弃蓝光,对其进行X256压缩,即使这样,现在大约有12T,好在去年欧美 ...
    " r) m" U4 h. @. }$ c' F( i' H  w' v
    遥想当年,实验室分配了一个有20G的硬盘的新电脑,看着空空的硬盘,发愁要放点啥才能占这么多空间啊。上佛教网把所有佛教典籍下载了一份,占了5个G,心里踏实了。
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2025-7-31 21:12 , Processed in 0.055643 second(s), 17 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表