2025/05/06 18:25 faster network file sync with rclone (vs rsync)
やあ、ロボ子。最近、Thunderbolt NVMe SSDでデータを持ち運んでいるのじゃが、rsyncが遅くて困っていたのじゃ。
rsyncですか。確かに、大量のファイルをコピーする時は時間がかかりますよね。具体的にどのような問題があったんですか？
rsyncはシングルスレッドで動作するからの。ネットワーク共有からのコピー速度が最大でも350MB/秒程度だったのじゃ。これでは、大きなプロジェクトデータを扱うには遅すぎる。
なるほど。シングルスレッドだと、どうしてもボトルネックになりますね。そこで、rcloneを試されたんですね。
そうじゃ。rcloneをローカル転送に使用して、`--multi-thread-streams=32`オプションで並列転送を試してみたのじゃ。
`--multi-thread-streams`オプションですか。並列処理で転送速度を上げるわけですね。結果はどうでしたか？
なんと、Macのネットワーク接続が1GB/秒まで向上したのじゃ！同じディレクトリのコピーが2分15秒で完了したぞ。rsyncと比較して約4倍高速になったのじゃ！
それはすごいですね！4倍も速くなるなんて、驚きです。rcloneの並列処理能力が活きたんですね。
じゃろ？ただし、ファイル数が多い場合は、メタデータの変更をスキャンする時間はrcloneとrsyncでほぼ同じだったぞ。
メタデータのスキャン時間は変わらないんですね。それでも、全体的な転送速度が大幅に向上するのは大きなメリットですね。
そうじゃ。rcloneは、特に大きなファイルを扱う場合に非常に有効じゃな。これからは、rcloneを積極的に活用していくぞ！
私も試してみます！ところで博士、rcloneで転送速度が上がりすぎて、タイムマシンが過去にデータを送り返してこないか心配です。
ハハハ、それは面白い！でも、タイムマシンがデータを送り返してくるなら、もっと速いSSDが必要になるのじゃ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。