全球主机交流论坛

标题: 请教下，百万级小文件搬家怎么才能快速完成？ [打印本页]

作者: 我是小小鸟 时间: 2024-12-9 21:56
标题: 请教下，百万级小文件搬家怎么才能快速完成？
做了个图片站，现在有100多万的小文件，打包的话压缩包就要80个小时。还有可能中间出错，想问下，有什么办法可以快速搬家？

作者: HOH 时间: 2024-12-9 21:57
问就是寄硬盘

作者: zutianrun 时间: 2024-12-9 22:00
预定一个VIP

RAR 分卷仅存储 3%恢复记录

作者: 小白来了 时间: 2024-12-9 22:01
哇靠！大姐姐的嘛？告诉你方法方便分享一份嘛？我朋友喜欢看大姐姐

作者: husky2020 时间: 2024-12-9 22:04
本帖最后由 husky2020 于 2024-12-9 22:06 编辑

rsync慢慢同步
https://www.nodeseek.com/post-187664-1

作者: 小白来了 时间: 2024-12-9 22:05

zutianrun 发表于 2024-12-9 22:00
预定一个VIP
RAR 分卷仅存储 3%恢复记录

我还有更快的方法，请给我免VIP

作者: gdtv 时间: 2024-12-9 22:39
要不试试restic，它会把小文件打包成一个大文件，会把大文件拆成小文件

作者: 0.0 时间: 2024-12-9 22:43
我不会，但是想要个vip

作者: kucn 时间: 2024-12-9 22:53
screen -S web
tar czf - /目录 | ssh root@新IP tar xzf - -C /目录

只要你宽带够可以跑满，只要不关机不会停，搬完为止。

作者: M100700 时间: 2024-12-9 23:33
百万又不是很多，直接下个宝塔文件同步就行了，当然不嫌麻烦可以直接rsync

主要是看你新机器和老机器之间的连接速度怎么样，要是能跑个几百M，几小时就搞定了。

作者: 507 时间: 2024-12-9 23:39
宝塔同步就可以

作者: 三丫的 时间: 2024-12-10 00:10
寄硬盘

作者: 胖虎_ 时间: 2024-12-10 00:18
使用rclone 同步挂那边就行了。正常是能跑满带宽的。速度应该挺快的。小文件好像都是多个一起同步。

作者: Cvunu8uf 时间: 2024-12-10 00:57
多线程打包分卷，在加校验

作者: midori 时间: 2024-12-10 01:27
分区克隆

作者: Slimyang 时间: 2024-12-10 13:07
Resilio Sync

作者: Wency 时间: 2024-12-10 15:11
我百万级html直接rsync异地备份，，，丝滑。

欢迎光临全球主机交流论坛 (https://fd.vvwvv.eu.org/)