爱吱声

标题: 我的数据备份策略 [打印本页]

作者: 可梦之 时间: 2020-12-14 19:07
标题: 我的数据备份策略
本帖最后由可梦之于 2020-12-15 06:47 编辑

经历过几次惨痛的数据丢失事故，深刻的理解了值钱的是数据，而不是电脑。慢慢摸索出自己的数据备份之道。

什么是重要数据？不是所有数据都值得备份，从网上下载了一堆电影，大部分不值得保存，因为这辈子你都不会再看它。而有些很重要的数据，往往嫌弃麻烦而不备份。比如，我把所有重要证件都扫描整理好，这样准备什么材料的时候特别方便。最重要的是数据要整理好，一团乱麻的数据是没有啥价值的，你需要的时候死活找不到！数据的同步也是很重要的，尤其是有几个电脑和电子设备的时候。数据的同步和整理，比备份要更加花时间，但也是极端重要的。

我以硬盘备份为主，云备份为辅。云备份更加即使，也方便访问。但大量数据下载很麻烦，自己有一份心里也踏实。我使用两个大硬盘做双备份，不同牌子的，免得同时坏了。云备份主要使用Google，免费15G，照片备份无限量。

所有数据要有一个统一的文件系统分类，我现行的分类是：

central：自己的重要文件，不包括图片、视频、软件等占用大量空间的文件。这部分比较稳定，近期不太会变动的，比如历史的数据，扫描的文档。采用Google云备份，尽量将数据控制在20G之内，方便快速同步到不同设备上。
work：近期正在使用的重要数据，这部分项目完成后归并到central中。采用Google云备份。尽量控制数据在10G之内。
tmp：临时文件，下载的文件等，不需要备份。
media：自己拍的照片、视频等。分为原版和缩略版，原版太大了，只能放在移动硬盘上。缩略版放在电脑和Google上。这样想看的时候随时能看，需要高清的再去移动硬盘找。
codes：程序员保留地。其实git用于保留历史版本挺不错的，普通用户也可能用的上。
private：私密文件，杜绝任何云备份，完全依赖自己的硬盘备份。
移动硬盘里，我还有一些目录，单独存放音乐、电影、软件等。这些使用频率并不高，需要时再拷贝到电脑上。

照片、视频是最花时间的，我一般1-2个月整理一次

同步：将几个手机、pad、相机拍的照片集中在一起，去除冗余的。
筛选：将不好的删除，调转图片方向等。
整理：将照片统一为JPEG格式，重命名文件名称为拍摄时间，按照年/月/日放到相应目录。这步有脚本自动处理。不过有些微信下载的照片去除了时间信息，只能手动来，很麻烦。
创建缩略图：图片有脚本自动处理，缩减为1080p，绝大部分情况下够用了。视频上传到youtube，然后通过youtube-dl下载，统一为mp4格式。youtube的编码格式还是很厉害的，同样的分辨率，文件大小只有源文件的10%-20%。白嫖Google的算力，电脑处理太慢了。而且在youtube上有个备份，方便分享。我将视频设置为unlisted，只有拿到链接才能看，搜索不到，也算有点隐私保护。一个问题是Google对音乐版权好敏感，很多娃听着音乐跳舞的视频都被剔出来了。
备份：源图放在移动硬盘，视频源文件我一般都删了，太大了，保存youtube最清晰版本。缩略图放在电脑上，同时同步到Google云上，这样手机可以随时查看。

作者: 数值分析 时间: 2020-12-14 19:58
不考虑自己整个nas或者文件服务器么？

作者: 可梦之 时间: 2020-12-14 20:34

数值分析发表于 2020-12-14 19:58
不考虑自己整个nas或者文件服务器么？

目前还没啥需求，将来可能搞一下。主要是数据整理，整理好了，备份其实容易。

作者: 可梦之 时间: 2020-12-14 20:37
我刚说白嫖Youtube计算资源，Google服务就挂了

作者: 无言 时间: 2020-12-14 22:30

可梦之发表于 2020-12-14 20:37
我刚说白嫖Youtube计算资源，Google服务就挂了

被狗狗偷听了

作者: 料理鼠王 时间: 2020-12-14 22:35
国内有很方便的NAS方案，价钱也不高。例如，带硬盘的路由器。

作者: 老树 时间: 2020-12-14 22:46
NAS方便一些，和工作电脑的重要文件夹自动同步

作者: 李根 时间: 2020-12-15 00:09
很有道理，大家都该学学。

俺太懒了，先在仅仅是用一个外置硬盘备份，每个季度备份一次，从频率到方法都不够。

作者: 机器猫 时间: 2020-12-15 01:12
现在的路由器都有USB口的了吧？把硬盘插上去就是NAS了嘛

作者: 夏雨 时间: 2020-12-15 01:13
装个synology的NAS，什么问题都解决了。

作者: togo 时间: 2020-12-15 06:15
Google photo 很快就要收费了

作者: 可梦之 时间: 2020-12-15 06:32

togo 发表于 2020-12-15 06:15
Google photo 很快就要收费了

我用的Backup&Sync，只要选High Quality，照片空间不占用配额。不知道以后是否会改，改了可以用Amazon Photo，Prime免费无限量图片。云只是备用备份，基本不怎么分享，也不用他那些AI的特性。有时间把脚本升级一下，可以把地址识别出来并分类。人脸识别这个有点难，得找找高效的库，否则照片太多了，计算起来太慢。

作者: 史蒂芬周 时间: 2020-12-15 07:07
icloud + amazon drive prime + onedrive 1TB(微软员工优惠价) + dropbox 免费版。

作者: 可梦之 时间: 2020-12-15 07:23

史蒂芬周发表于 2020-12-15 07:07
icloud + amazon drive prime + onedrive 1TB(微软员工优惠价) + dropbox 免费版。

其实云空间真不缺，我还有2T的百度云，但是带宽缺啊，几百G的照片视频要下载多久啊。不能方便的访问，那数据就不是自己的了。我把云备份的大小控制在几十G的范围，这样换个新电脑，从头下载一次时间也可以接受。
光备份不整理，数据也是死数据。我老婆电脑上一堆“New Folder”，“New Folder 1”，还是嵌套的。备份的再勤奋，这些数据也没啥用。

作者: 捣江湖 时间: 2020-12-15 11:34
搭车问个问题：
关于数据分类的问题。
1.按时间分类
2.按类型分类
3.不分类，就是一个folder，装所有的data
如果是1，就回忆起来方便，知道自己的思维处于时间流中的哪个点。
如果是2，那么时序就不太重要。那么如何才能搞清楚自己在什么时间什么地点收集了什么东西呢？
是不是得有个数据库？可以按照时间流，可以按照类型来查询。
哪种更符合人类大脑处理大量数据生物属性

作者: helloworld 时间: 2020-12-15 12:52
学习了, mark.

作者: nanimarcus 时间: 2020-12-15 13:21
利用youtube做视频转化我不赞成。
因为youtube是通过网络发布视频，所以文件尽量小，但是视频质量绝对严重下降的，一分钱一分货。
你拿个原生mp4文件比较以下就知道了，特别动态或者有漂亮的背景或者烟雾的情况下，youtube 版本绝对惨不忍睹。
当然，你如果只希望视频看上去是那么回事就行，那当然也无所谓。
youtube的另一个牛逼的地方就是给你做字幕。

作者: 可梦之 时间: 2020-12-15 13:37

nanimarcus 发表于 2020-12-15 13:21
利用youtube做视频转化我不赞成。
因为youtube是通过网络发布视频，所以文件尽量小，但是视频质量绝对严重 ...

对画质要求高的肯定不能这么搞。我就是用手机拍日常生活，对画质要求不高。要求高的是要保留源文件的。缩略图本来就是为了让你快速浏览看的。

作者: 包子 时间: 2020-12-15 13:40

料理鼠王发表于 2020-12-14 22:35
国内有很方便的NAS方案，价钱也不高。例如，带硬盘的路由器。

不太靠谱，我有计划弄个黑群晖。

作者: 包子 时间: 2020-12-15 13:42
本帖最后由包子于 2020-12-15 13:45 编辑

可梦之发表于 2020-12-15 07:23
其实云空间真不缺，我还有2T的百度云，但是带宽缺啊，几百G的照片视频要下载多久啊。不能方便的访问，那 ...

云空间靠谱的不多，以前115速度和空间都可以，不过价格一下一年涨了十倍多，可能以后还会涨。百度就是出了名的不靠谱。

考虑价格，稳定和空间，我觉得自建是有必要的。

目前搞个4位的群晖，得5000块起步吧，然后4个14T硬盘得6000块，不到40T空间1万块，等于1千多块4T，这还没考虑电费和维护。

作者: 可梦之 时间: 2020-12-15 13:42

捣江湖发表于 2020-12-15 11:34
搭车问个问题：
关于数据分类的问题。
1.按时间分类

文件目录只能按照一个标准分类，要么是时间，要么是类型之类的。如果别的分类就需要增加索引，增加数据库了。

Mac上的Photo就是，原来按照import时间建立文件夹，现在好像把图片hash之后分在不同文件夹。然后在上面建立了好多索引、缩略图。这样你在Photo里可以各种检索了，不用管图片实际存储在哪里。

这个是很好，但是离开这个软件就没法用了。所以我倾向自己保留一份，需要的时候可以导入各个软件。自己这一份，我是按照时间分类的，方便查找。之前按照事件排序的，比如去哪里旅游了，放在一起，后来照片多了，还是时间更方便一点。现在只是根据时间查找，将来可以加入地址的索引（手机照片里都有GPS信息），也可以根据人物分类，但人脸识别有点难。

作者: 可梦之 时间: 2020-12-15 14:06

包子发表于 2020-12-15 13:42
云空间靠谱的不多，以前115速度和空间都可以，不过价格一下一年涨了十倍多，可能以后还会涨。百度就是出 ...

是的，一旦依赖上了，很难退出来了。我百度云上的数据基本上都放弃了，幸好我自己本地有备份。

NAS挺好的，我还没折腾，主要是没需求。搞两个硬盘，一般都够了。并不是时刻都要访问所有的数据。近期要用，要改的数据，一般不多，放到电脑上，google备份足够了。一两个月归档一次，还督促我整理得好一点。

作者: 响马 时间: 2020-12-15 23:35

可梦之发表于 2020-12-15 14:06
是的，一旦依赖上了，很难退出来了。我百度云上的数据基本上都放弃了，幸好我自己本地有备份。

NAS挺好 ...

百度最恶心的是动你的数据。我之前把一些电影和电子书备份到上面，想下载的时候，有几本提示说有非法字符什么的，不让我下载。连预览什么的都不行了。后来我再也不用百度备份重要数据了，可惜了6.5T的空间。

作者: 响马 时间: 2020-12-15 23:37

包子发表于 2020-12-15 13:42
云空间靠谱的不多，以前115速度和空间都可以，不过价格一下一年涨了十倍多，可能以后还会涨。百度就是出 ...

DS420+，上个月刚买，4080大毛。

作者: 面朝大海 时间: 2020-12-16 09:15

可梦之发表于 2020-12-15 06:32
我用的Backup&Sync，只要选High Quality，照片空间不占用配额。不知道以后是否会改，改了可以用Amazon Ph ...

Google已经通知了，明年六月开始， High quality也要计算容量了。老用户宽限两年，到2023年六月开始收费。

作者: 可梦之 时间: 2020-12-16 09:58

面朝大海发表于 2020-12-16 09:15
Google已经通知了，明年六月开始， High quality也要计算容量了。老用户宽限两年，到2023年六月开始收费 ...

把数据放在云上就这点讨厌，数据在人家手里，政策说怎么变就怎么变。所以自己一定要留一份。

作者: MaverickZ 时间: 2020-12-16 18:04
本帖最后由 MaverickZ 于 2020-12-16 18:27 编辑

我也是以前坏过2次硬盘,后来开始搞NAS.
换过2次硬件, 现在是用的HP gen8 microserver.
系统用windoews server data center 2012R2
用的存储池, 可以方便的把重要资料设为mirror, 不重要的电影电视啥的用simple, 另有一块设为备份再次备份重要资料和照片.

作者: 包子 时间: 2020-12-16 18:58
本帖最后由包子于 2020-12-16 19:00 编辑

响马发表于 2020-12-15 23:37
DS420+，上个月刚买，4080大毛。

我算计了一下，这个性能差了点，既然容量搞起来了，那起码电影啥的得弄个实时转码，这个CPU太弱。

能说一下你平时有啥经常性的应用吗？

作者: 包子 时间: 2020-12-16 19:00

MaverickZ 发表于 2020-12-16 18:04
我也是以前坏过2次硬盘,后来开始搞NAS.
换过2次硬件, 现在是用的HP gen8 microserver.
系统用windoews serv ...

佩服佩服，这个是惠普颜值最高的产品了。

作者: MaverickZ 时间: 2020-12-17 00:35
本帖最后由 MaverickZ 于 2020-12-17 00:48 编辑

包子发表于 2020-12-16 19:00
佩服佩服，这个是惠普颜值最高的产品了。

关键是价格便宜啊, 最早是自己买配件搭的, 后来换成HP N54L, 4年前换成了Gen8 Microserver的.
关键是价格, 算下来才1000人民币的样子

, 纯服务器的硬件, ECC内存.
还有iLO, 随便丢个有网线的地方就能远程遥控.
实际上个人用的话, 现在收二手也不错, 只不过不能和当年比性价比了.

我的策略是, 所有重要的都存在mirror的存储池里面, 最重要的利用系统自带备份功能再每天一次备份到一个不在存储池的一个2.5寸硬盘里.
硬盘每隔几年换一块硬盘, 为的是防止某个批次硬盘有bug造成数据全毁. 今年刚刚把一个2T的换成12T的.

作者: mezhan 时间: 2020-12-17 06:53

MaverickZ 发表于 2020-12-17 00:35
关键是价格便宜啊, 最早是自己买配件搭的, 后来换成HP N54L, 4年前换成了Gen8 Microserver的.
关键是价格 ...

组个Raid6?

作者: 沉宝 时间: 2020-12-17 08:51

mezhan 发表于 2020-12-17 06:53
组个Raid6?

Gen8 Microserver总共四盘位，Raid6太过于勉强。[MaverickZ]说了，RAID 1 加单盘，重要资料存RAID 1, 不重要的去单盘。

作者: 响马 时间: 2020-12-17 09:24

包子发表于 2020-12-16 18:58
我算计了一下，这个性能差了点，既然容量搞起来了，那起码电影啥的得弄个实时转码，这个CPU太弱。

我自己是HP Microserver攒了个黑群晖，这个是给家里买的。因为家里对计算机不太懂，买个群晖省心。
实时转码啥的也没要求，反正动画片和辅导课程也都不是什么高清大片。够用了。
我自己也打算换白群晖了，就图个省心有质保。不折腾。哈哈。

作者: mezhan 时间: 2020-12-17 10:08

沉宝发表于 2020-12-17 08:51
Gen8 Microserver总共四盘位，Raid6太过于勉强。[MaverickZ]说了，RAID 1 加单盘，重要资料存RAID 1, 不 ...

三盘可用Raid 5

作者: 包子 时间: 2020-12-17 10:32

mezhan 发表于 2020-12-17 10:08
三盘可用Raid 5

以现在动不动10T以上的数据来看，万一有事raide5是大概率没法重建，或者重建时间以月记。所以一般都不考虑raide5了。

作者: 包子 时间: 2020-12-17 10:33

响马发表于 2020-12-17 09:24
我自己是HP Microserver攒了个黑群晖，这个是给家里买的。因为家里对计算机不太懂，买个群晖省心。
实时 ...

你有做内网穿透吗？

作者: mezhan 时间: 2020-12-17 10:38

包子发表于 2020-12-17 10:32
以现在动不动10T以上的数据来看，万一有事raide5是大概率没法重建，或者重建时间以月记。所以一般都不考 ...

重建不影响使用啊

作者: 包子 时间: 2020-12-17 11:40

mezhan 发表于 2020-12-17 10:38
重建不影响使用啊

哇，你胆子好肥啊。亡命之徒啊

作者: MaverickZ 时间: 2020-12-17 17:03

mezhan 发表于 2020-12-17 06:53
组个Raid6?

不是,
是大门哥的storage pool, win10和server 2012之后的系统都自带的功能.
忽略物理硬盘和硬盘接口, 把所有硬盘作为一个池子, 然后在这个池子里建虚拟硬盘, 虚拟硬盘建立的时候可以选镜像还是单盘模式(可以理解为raid1和raid0),另有类似raid5的方式可以选, 不过磁盘写入速度慢的感人.
这个最大好处就是傻瓜化, 无需管理物理硬盘, 只要关注虚拟盘就行. 不同需求的文件放入不同设置的虚拟盘即可.
换系统可以直接用, 无需重建, 替换物理硬盘或者扩容也超级简单, 只要简单从资源池里删除旧硬盘, 系统会自动把要删除硬盘的内容挪到别的盘里面, 然后再添加新硬盘, 系统会自动把内容挪到新硬盘上.
要是硬盘都满了, 也能更换硬盘, 就是先把新硬盘添加到资源池里(无视接口, sata,m2或者usb都能添加进去), 比如前几天我就是先把新硬盘用usb接上, 添加到滋源池, 然后再删除需要替换的硬盘, 系统自动挪内容, 然后会有提示旧硬盘已经移除就能关系拆硬盘. 这时候把新硬盘从usb硬盘盒里取出直接塞进去用sata接口接上, 什么设置都不需要, 资源池无需任何设置.
而且windows server还有文件夹备份功能, 所以能再次备份一次, 而且最大的好处是这个备份盘是系统里不可见的, 能避免误删.
所有对于个人用户来说, 这个功能比raid方便简单, 扩容或者替换硬盘也比raid方面
就算不用NAS, 普通电脑用户也可以用这个来给资料备份, 当然你需要多个硬盘就是了. 而且系统盘不能装在资源池的盘子上, 所以需要镜像功能的话需要至少3块硬盘, 一块系统盘, 2块添加进资源池的影片.

作者: MaverickZ 时间: 2020-12-17 17:08

沉宝发表于 2020-12-17 08:51
Gen8 Microserver总共四盘位，Raid6太过于勉强。[MaverickZ]说了，RAID 1 加单盘，重要资料存RAID 1, 不 ...

其实能很简单塞6块硬盘, 4块3.5和2块2.5.
3.5的在硬盘笼子里, 光驱位的空间能放2块2.5的, 一块用内置sata接口, 一块可以用内置usb接口.
我自己是加了一块pci-e的sata扩展卡进去, 好处是可以直接把系统盘挂在扩展卡上, 否则用内置sata还需要单独在tf卡上写引导文件才能做系统盘.
还能自己做支架在电源旁边加几块2.5的硬盘, 不过一般没啥必要这么做.

作者: MaverickZ 时间: 2020-12-17 17:12

mezhan 发表于 2020-12-17 10:08
三盘可用Raid 5

大门哥的storage pool有类似模式, 叫parity.
据说写入模式性能非常感人.
个人的话, 镜像和简单模式加上系统自带备份功能足够了, 可靠性感觉不比raid5低, 毕竟备份盘系统里不可见, 也不能直接操作.

作者: MaverickZ 时间: 2020-12-17 17:15

包子发表于 2020-12-17 10:33
你有做内网穿透吗？

以前用windows home server的时候有做, 现在没做了, 因为没这方面需求.
紧急的时候利用Asus路由器的aicloud可以接回家.
倒是最近加了个绿联的2.5g usb网卡上去, 的确可以突破千兆网络限制, 但是不够稳定, 不知道是不是gen8的usb3芯片太老的原因.

作者: MaverickZ 时间: 2020-12-17 17:18

包子发表于 2020-12-17 10:32
以现在动不动10T以上的数据来看，万一有事raide5是大概率没法重建，或者重建时间以月记。所以一般都不考 ...

十几年前玩过raid, 限制太多了, 重建也非常花时间, 更新硬件的时候更是蛋碎.
大门哥的资源池就非常简单, 我从n54l升级到gen8的时候是把n54l的ssd系统盘拿出来格式化后在gen8上重装windows server 2012然后把添加到资源池的硬盘直接装到gen8里面, 在新系统里把n54l的资源池添加到新系统就行了.

作者: 响马 时间: 2020-12-17 19:13

包子发表于 2020-12-17 10:33
你有做内网穿透吗？

你是指quick-connect吗？用公网域名直接访问server？
用是用了，但是我远程使用的时候不多，一般BT下载啥的我都设置了RSS，自动下载，很少需要远程操控。
有人诟病说群晖提供的quick connect不稳定，我没遇到过。

欢迎光临爱吱声 (http://aswetalk.net/bbs/)