我在一个on prem hdfs安装中有一堆数据。我想把它的一部分转移到谷歌云（云存储）上，但我有一些担心：如何实际移动数据？我很担心把它放到公共互联网上将数据从hdfs存储安全地移动到云存储的最佳方法是什么？
amrnrhlw1#
要将数据从本地hadoop集群移动到google云存储，您可能应该使用google云存储连接器for hadoop。您可以按照安装说明在任何群集中安装连接器。需要注意的是，googleclouddataproc集群默认安装了连接器。一旦安装了连接器，就可以使用distcp将数据从hdfs移动到云存储。这将通过（公共）互联网传输数据，除非你有一个与谷歌云特别互联设置。为此，您可以使用squid代理并配置云存储连接器来使用它。
1条答案
按热度按时间amrnrhlw1#
要将数据从本地hadoop集群移动到google云存储，您可能应该使用google云存储连接器for hadoop。您可以按照安装说明在任何群集中安装连接器。需要注意的是，googleclouddataproc集群默认安装了连接器。
一旦安装了连接器，就可以使用distcp将数据从hdfs移动到云存储。这将通过（公共）互联网传输数据，除非你有一个与谷歌云特别互联设置。为此，您可以使用squid代理并配置云存储连接器来使用它。