Linux优化大文件传输速度

1. 问题需求

如一台机器上有个 346MB 的 cactus.tar 文件，需要把这个文件通过 rsync 或 scp 传输到另一台机器上，现在网络的速度限制在每秒传输1.1MB ，需要多长时间能传输完成整个文件？

要计算传输文件的时间，我们可以使用以下公式：

$$\text{传输时间} = \frac{\text{文件大小}}{\text{带宽速度}}$$

关键条件：

• 文件大小为 346MB
• 带宽速度为 1.1MB/秒

按照公式，计算传输时间：

$$\text{传输时间} = \frac{346 \text{MB}}{1.1 \text{MB/秒}} = 314.55$$

将秒数转换为分钟：

$$314.55 \text{秒} = \frac{314.55}{60} \approx 5.24 \text{分钟}$$

因此，传输这个 346MB 的文件大约需要 5.24 分钟。

2. 优化文件传输速度

在网络带宽无法提升的情况下，优化文件传输的方式可以帮助提高传输效率。以下是一些优化传输速度的方式，尽管网络速度固定为1.1MB/s，但通过减少数据量、优化传输机制可以加速整体的传输过程：

2.1. 压缩文件

传输前先对文件进行压缩，以减少实际传输的数据量。这可以通过压缩工具如 gzip 或者 tar 的压缩选项实现。虽然 cactus.tar 已经是一个归档文件，但它可能还没有被压缩。你可以通过以下命令进一步压缩：

tar -czvf cactus.tar.gz cactus.tar

然后传输压缩后的文件 cactus.tar.gz。这样可以减少传输的数据量。

2.2. 使用 rsync 的压缩功能

如果选择使用 rsync，可以直接在传输过程中启用压缩选项 -z，这会在传输时压缩文件，减小需要传输的数据量：

rsync -avz cactus.tar user@remote_host:/path/to/destination/

这个方法在传输过程中自动压缩和解压缩，节省带宽。

2.3. 分片传输

如果文件非常大且网络波动较大，可以考虑将文件分割为多个小文件并行传输，优化传输的鲁棒性。可以使用 split 命令将文件分割，例如：

split -b 100M cactus.tar cactus_part_

然后可以通过多个会话同时传输各个文件部分，并在远端重组这些文件。传输完成后，通过 cat 命令在目标机器上合并文件：

cat cactus_part_* > cactus.tar

2.4. 调整 SCP/RSYNC 的加密算法

如果 CPU 性能有限，加密的开销可能会降低传输速度。你可以尝试使用一个较轻量的加密算法来减小加密开销。

在 scp 中，可以指定更快速的加密算法（如 arcfour 或 aes128-ctr）：

scp -c arcfour cactus.tar user@remote_host:/path/to/destination/

在 rsync 中，也可以通过 ssh 参数指定加密算法：

rsync -e 'ssh -c aes128-ctr' cactus.tar user@remote_host:/path/to/destination/

2.5. 利用多线程工具

你可以使用多线程文件传输工具，如 bbcp 或 mcb, 它们可以利用并行流加快传输速度。示例命令如下：

bbcp -z -P 5 cactus.tar user@remote_host:/path/to/destination/

其中 -P 5 指的是开启 5 个并行流来加速传输。

2.6. UDP-based 传输工具

在某些场景中，基于 TCP 的传输可能会受到网络延迟影响。使用基于 UDP 的传输工具，如 UDT 或 tsunami-udp，可以在不可靠的网络条件下提升传输速度。UDP 传输没有 TCP 的流控制机制，但需要更复杂的错误检测与处理。

2.7. 减少包大小和窗口调整

使用 rsync 或 scp 时，可以调节网络窗口大小、包大小来优化传输效率。通过配置网络传输参数，可以更好地利用带宽。通过修改 SSH 参数来优化性能：

scp -o "TCPWindowSize=65536" cactus.tar user@remote_host:/path/to/destination/

总结来说，如果带宽是固定的，最常用且简单的优化方法是压缩文件，结合 rsync 的压缩传输选项。对于更加复杂的场景，可以考虑分片传输、多线程、甚至基于 UDP 的传输方式。