转移大量的小文件

我需要迁移两个具有大连接的服务器。 SAN 在我们的新环境中 VMWare.

编辑:我必须提供一些其他信息,因为我对解决方案有很好的答案 VMWare.

所以,我无法连接前一个 LUN EMC 由于服务器上某些技术的限制,到新系统。

我不能使用 VMWare Converter 用于克隆我的新虚拟机上的缺失卷,因为 VMWare Converter 看不到伪设备 EMC PowerPath 先前的管理员使用这些伪设备来创建卷 LVM2 和 / 或者 ASM 地面。

这两个物理服务器连接到旧数据存储网络。 EMC² CX-340 和治疗 5 TB数据。

这些 5 TB数据是一个小的PDF文件,我需要通过本地网络将它们传输到新计算机。 1 Gbit. / 从。

我试着用

rsync

, 但它真的很慢,强烈影响RAM和处理器的性能。

我试着用 NC 从 TAR, 但转移率相当低,因为我有一个中间带宽 50 MB. / 与运河有关 1 Gbit. / 使用实际零流量。

你能给我一些提示或与这种迁移分享你的经历,你如何在合理的时间内设法正确地完成它?
已邀请:

詹大官人

赞同来自:

如果您真的需要快速转移文件的方法,并且两个系统都基于 Linux, 你可以试试
https://github.com/LabAdvComp/UDR
.

这是真正的形式 rsync-over-UDP (使用 open-source
http://udt.sourceforge.net
) 特别方便,通过高带宽通道或高延迟移动大量文件或传输。 此外,禁用默认加密,因此RAM上的负载 / CPU低于传统的CPU rsync. SSH 要么没有参与。

我很容易得到

电报翻译

更多的 1 Gbit. / 和 10 数百万小文件 TIFF 在目录树中。

与...相比,您的语法将略有变化 rsync. 所有旗帜 rsync 必须站在源规范之前 / 约会:

udr rsync -avP --stats --delete /data/ server2:/data/

易于建设 ... 你会需要

g++



openssl-devel

:

git clone [url=https://github.com/LabAdvComp/UDR.git]https://github.com/LabAdvComp/UDR.git[/url]
cd UDR/
make
cp src/udr /usr/local/bin/

在源码和目的地进行。

看:
https://serverfault.com/questi ... 38065

三叔

赞同来自:

当在没有加密的恶魔中使用时 rsync 它可以有效地传输大量的小文件。 在恶魔模式下给他另一个尝试尝试。

窦买办

赞同来自:

你没有想到提供lun-s SAN 直接新的虚拟机 - 它通常工作正常,并且可以比将文件复制到 VMDK, 虽然它可以在初始主机上“阻止”虚拟机。 但是您可以使用它来开始,然后将文件传输到 VMDK 以自己的节奏 - 通过 rsync - 然后作物参考原始 LUN.

莫问

赞同来自:

如果尚未创建目标虚拟机,则可以尝试免费使用 VMware Converter 复制数据。

事实上,即使是创建的,也可以将光盘克隆到虚拟虚拟机,然后在克隆完成后将它们连接到现有的虚拟机。

在任何情况下,转换器都使用两种方法将文件从源克隆到目的地,完整的信息可以找到。
http://kb.vmware.com/selfservi ... 71014
.

如果将目标配置为

较少的

源,它将将单个文件克隆到新的虚拟机。

但是,如果将目标磁盘配置为

平等或更多

, 他克隆块。 这将使磁盘上的文件数在很大程度上是微不足道的,它应该相对较快地工作。

我怀疑你填写了频道 1 Gbit. / C,但你必须得到更多 50 Mbit. / 从。

请记住,你仍然想要移动 5 TB,所以它需要一些时间。

要回复问题请先登录注册