爱吱声

标题: 集腋成裘 [打印本页]
作者: 可梦之    时间: 2021-4-2 14:26
标题: 集腋成裘
信息爆炸的时代，如何获取有价值的内容，成为每个人获取竞争优势的关键。而知识的日益碎片化，令这一任务变得更加艰巨。
7 d) b$ A4 l4 u# m. K! J3 H. a8 R/ f4 i9 P# `" n
计算机和AI，大大丰富了我们对信息进行筛选、整理和分析的手段，比如搜索，比如自动学习。技术的另一面，Deep Fake正在产生更加海量的“虚构”信息，比如论文、比如视频。这使得原始数据都已经被污染和人为操控。1 ]6 H% w6 |* x2 f- d
* i4 @. t$ \% U
野蛮生长的互联网巨兽，掌握了我们海量的数据，他们甚至比我们自己还了解自己。那些本属于我们的数据，被他们利用以牟利；还被禁锢在他们的私有网络，甚至我们自己都不能访问。. `) o; d! v: y9 J+ D, u6 t9 f$ w" t& Y" T

" n, S( E$ |: `6 L* I9 K在信息的海洋里，我们如同一叶扁舟。周围都是水，却缺少可以饮用的淡水。我们被各种知识充斥着，忙碌着；却很难静下心来，真正的去分析、理解，从而升华我们的思想和知识体系。我们貌似极度自由，可以获取几乎所有信息，但又深陷在信息茧房，慢慢失去了思辨力和想象力。尤其是算法推荐的出现，让我们愈加偏执，远离真相。
# y7 M% Z$ K( H+ o3 m' o5 g. L0 d: `% q; k$ D" F9 V" J5 `5 v
我是有点收集癖和整理控，就更加苦恼。好不容易搞明白一个技术问题，却没有记录下来，或者忘记记在哪里了；写了文章，留在网站上，自己想去看，网站可能都没了。信息那么多，属于自己的有多少？4 g8 z, o7 `: n. [
/ z7 |0 n! _3 w. m  {0 G3 U. U
我曾经尝试过很多方法，比如把知识点滴记录在笔记本上，比如写成Latex/Markdown文档，然而都有不少问题。那为什么不自己做一个让自己满意的知识整理系统呢？去年疫情憋在家，开干！4 E7 S# r. D8 z; A8 W  ^
4 a$ J" @( B0 Z& o1 Y
第一个要求：结构化。非结构化的数据是很难分析和整理的，将数据结构化，开始会付出多，但之后就方便多了。这有个问题：不同的内容，结构化是不同的。比如文章包括标题、正文、作者等；Covid19统计数据就包括国家、日期、新增死亡、新增确诊等。支持给定结构的系统是容易的，我之前也做过日记、照片分享的网站；支持任意结构数据，是很难的。却又是必须的，灵活性是第一的。我今天要记录博客文章，两分钟搞定；明天要记录新闻，两分钟搞定！( r) U6 z- [' Q( m, x- x
/ Z; z5 ~0 `1 B# y8 w- }9 X8 |
第二个要求：自己做主。我的数据，我做主。所有数据我拥有和控制，哪天不想用这个系统了，随时打包数据走人。8 G2 Z% p8 e, @  M' B5 x

1 v$ |/ I4 b1 c) u' ~第三个要求：共享性。一方面是是方便讲自己的数据分享给别人，另一方面是方便群体合作整理信息。比如我很想整理一下中国流失海外的文物信息，但这个肯定不是我一个人能干的。
( [: b( C- R: V6 T1 N# j9 h- L. L! C$ y
第四个要求：易用性。一些常见的操作，系统要支持。比如转为PDF/Markdown，数据的可视化画图，数据的自动化处理等。
/ K) U- Q5 v, ?
/ W* m9 F6 _. e. m* o9 G, xIT人的项目一定会延期的，尤其是这种有一搭没一搭的，稀稀拉拉做了快一年，终于有个样子了。结构化部分花的时间最多，用户可以自己定义数据结构，支持基本的类型，如数字、文字、枚举等，也支持Markdown，HTML等格式，以及常用的图片、视频、国家等等。这部分相当于自己搞了一个简版的ORM，很少有人这么搞，资料也不多。之后加入了数据导出导出，各种格式转化，画图等。最后稍微加了一点社交属性，评论、标签、好友、权限管理等。/ Z% I1 u6 C& o/ Y% t" x/ H$ U

( r! C% Z+ t0 @# _+ U2 R这个过程中，其实学了不少东西。尤其是之前很讨厌的前端界面。同时，作为正式项目的技术验证，尝试最新的技术软件，收获不少。0 u; O2 _2 X" X; N$ u

; U7 o3 J: W5 y9 Q6 `/ j: ^* [4 u1 D& `作为测试，自己用了一段时间。一个方面是做技术笔记，Markdown是目前找到最合适的格式；还有就是记录自己的文章，以及新闻、视频等；有些统计数据，比如COVID19数据，也很感兴趣，但还没怎么弄。至于这些数据整理之后有什么用处呢？现在还不太明显。技术笔记让我养成了比较好的习惯，免得做过的东西之后又忘记了。整理的《芳斯塔芙》的视频，外甥很喜欢。还有就是公司内部的简易bug系统，不用再折腾装别人软件或者自己从头搞。
0 k5 D% z6 d) r2 w
$ x$ m" k9 A# ~5 O: L, ~坚持一件事情，真的挺难的，尤其是没人逼着的时候。曾经几次想放弃，曾经多次想，我费劲收集这些有用吗？希望自己能坚持下来，集腋成裘，希望能够帮助自己进步和提高。其实很多研究都是基于枯燥的数据收集和整理，没有第谷老师几十年的观测数据，开普勒也搞不出行星三大定律。归纳法也是重要的研究方法。现在所谓的大数据很多经历也是花在数据清理和结构化上。以此自勉。' a& f3 O0 p  T

* \9 ]- _, z5 d# p" Q5 f下一步打算支持一个开放的API，这样方便自动化以及和别的系统集成。之后做一下APP，毕竟现在Web用户越来越少了。数据上，打算整理一下COVID19各国数据，还有就是波士顿圆脸的视频和笔记等。  q2 R; T7 c8 W) F, o+ a
# y, G; I5 G& H0 o/ U! D% p: ?, W
最后说一下网址是 https://shujuqiu.com。如果有同好，一起做，也是一种鼓励和督促，内心还可以小得意一下。现在普通用户的数据是公开的，如果需要设置为私密，可以留言给你们设置为VIP用户。
+ k7 m% t% F2 W- \/ P7 H       
作者: 捣江湖    时间: 2021-4-2 23:13
收集癖怎么治
作者: 捣江湖    时间: 2021-4-2 23:14
UI 很让人头痛怎么治
作者: 可梦之    时间: 2021-4-3 03:48
捣江湖 发表于 2021-4-2 23:13
% ~$ B" \7 ?- Z4 R$ c7 Y5 k收集癖怎么治
/ ~+ b& u* `0 H" F
买个大房子+两个大硬盘
作者: 可梦之    时间: 2021-4-3 03:49
捣江湖 发表于 2021-4-2 23:14: ^* L, k9 g& ^" Z: _6 H
UI 很让人头痛怎么治

6 ^6 R# B; |6 F3 J+ o我也头疼UI
作者: 晨枫    时间: 2021-4-3 06:51
可梦之 发表于 2021-4-2 13:48  \( ~* i1 X) ^' r/ Q$ M/ W" M
买个大房子+两个大硬盘

; \$ A$ S: I2 }! o我刚给NAS扩容，现在有24T了，RAID后实际可用18T，够对付一阵子了
作者: 可梦之    时间: 2021-4-3 06:54
晨枫 发表于 2021-4-3 06:51
( p( a9 @! }& i9 E, ^4 t8 S我刚给NAS扩容，现在有24T了，RAID后实际可用18T，够对付一阵子了

$ s3 `1 x% e5 l1 j, s你可能太多照片了吧。我两个4T硬盘，足够装所有的了。
作者: 捣江湖    时间: 2021-4-3 07:53
晨枫 发表于 2021-4-3 06:51
" R' i* R/ T7 e- ~4 z! q2 B我刚给NAS扩容，现在有24T了，RAID后实际可用18T，够对付一阵子了
7 g. @% Q2 x# ^& m
豪，我很好奇里面都装的啥
作者: 捣江湖    时间: 2021-4-3 08:24
我觉得 应该精简你收集到的信息，除去垃圾信息，无关生死的信息。我指的那种，比如把你扔到另一星球，你一个人要从头开始复制一个社会所需的信息（我指的是这种重要级别的），形成一颗信息树（可用mind 思维导图之类的开始），存储主干，不重要的信息或者没必要存储，不然想收集存储容器总是不够的。
' @; M( x9 R% C# {+ c
! F2 v/ e/ m$ f( M电视剧《星际之门》中有一集是地球被毁灭，人类在最后时刻下载数据中心的数据，然后一大批数据都没有下载完就被迫撤退。
作者: 晨枫    时间: 2021-4-3 08:52
捣江湖 发表于 2021-4-2 17:53
9 {4 t- z( r$ n豪，我很好奇里面都装的啥

2 {, ~. i2 Y1 R% F# s主要是旅游的照片。一般文件哪来那么多
作者: 晨枫    时间: 2021-4-3 08:53
可梦之 发表于 2021-4-2 16:54
% b' i% \* ^6 Y' {9 H* G# o& F你可能太多照片了吧。我两个4T硬盘，足够装所有的了。

* L& U. H7 N0 r; B就是照片多。我还习惯RAW和JPG同时留下，体积更大。
作者: 可梦之    时间: 2021-4-3 10:25
捣江湖 发表于 2021-4-3 08:24
; }, G8 Q- T* W$ k4 ^6 [我觉得 应该精简你收集到的信息，除去垃圾信息，无关生死的信息。我指的那种，比如把你扔到另一星球，你一 ...
  K' u7 J0 B' u+ E
对，删数据比存数据难多了。但是有用没用的一起存，有用的也找不到变成没用的了。
/ l. @1 x, R( W- I5 Z+ U/ Y5 ~% ]9 ~9 ]  }2 ^4 D
xmind我也很喜欢，将来想做一个自动生成思维导图的功能。
作者: 可梦之    时间: 2021-4-3 10:26
晨枫 发表于 2021-4-3 08:53$ v: w1 c3 ^! C& p1 d
就是照片多。我还习惯RAW和JPG同时留下，体积更大。
- L) J+ r- |7 J+ M! r
RAW就太大了。我一般是存原尺寸的JPG和缩小的（1080p）的JPG，后者放在电脑、手机上随时查看。原版的放在备份硬盘上。
作者: 晨枫    时间: 2021-4-3 10:51
可梦之 发表于 2021-4-2 20:26% q: k' h9 T8 ]5 e1 v7 m, o( _' D: c
RAW就太大了。我一般是存原尺寸的JPG和缩小的（1080p）的JPG，后者放在电脑、手机上随时查看。原版的放在 ...

$ A. w# E; b/ n9 A+ W! B2 f, Y) y- t我的NAS只存RAW和原尺寸JPG，缩小的JPG存在PC硬盘上，还有一个1T SSD（系统和常用文件）、1个2T、2个500GB的硬盘，都是以前逐步升级后留下的，闲着也是闲着，反正HD bay还有空间，能装多少装多少。
作者: testjhy    时间: 2021-4-3 14:22
同收集癖，古典音乐视频爱好者，被迫放弃蓝光，对其进行X256压缩，即使这样，现在大约有12T，好在去年欧美几乎没有现场演出，一年多没有用太多空间，好在现在18T的硬盘也不太贵了，
作者: 可梦之    时间: 2021-4-3 17:32
testjhy 发表于 2021-4-3 14:22
& ~; m; S. k/ l! c& e1 H" R同收集癖，古典音乐视频爱好者，被迫放弃蓝光，对其进行X256压缩，即使这样，现在大约有12T，好在去年欧美 ...

" `. S! N/ Y: H* v4 Q3 i9 _7 g遥想当年，实验室分配了一个有20G的硬盘的新电脑，看着空空的硬盘，发愁要放点啥才能占这么多空间啊。上佛教网把所有佛教典籍下载了一份，占了5个G，心里踏实了。



欢迎光临 爱吱声 (http://aswetalk.net/bbs/) Powered by Discuz! X3.2