将tensorflow hub与webhdfs结合使用

anauzrmj 于 2021-05-31 发布在 Hadoop

关注(0)|答案(1)|浏览(347)

我想放置tensorflow集线器模型：https://tfhub.dev/google/universal-sentence-encoder/4 在hadoop服务器上，然后在我的代码中使用它，如下所示：

embed = hub.Module('http:<URL>:<PORT>\<DIR>')

我试着将原始的压缩.tar.gz文件放在那里，并提取其所有内容，然后将它们放在hdfs上的一个单独目录中。在这两种情况下，我都会遇到以下错误：

HTTP Error 400: Bad Request

我的webhdfsapi可以很好地用于其他文件，tensorflow hub模块也可以从本地放置的目录中读取文件，但我需要将其放置在hdfs上，并且由于某些原因，它在那里似乎不起作用。
有什么办法吗？

1条答案

您可以阅读tensorflow\u hub中路径的分辨率https://github.com/tensorflow/hub/blob/master/docs/hosting.md
总之，更具体地说，对于host.tar.gz，这意味着您应该能够传递任何输出tar.gz的https路径。例子：

hub.Module("https://example.com/dir/filename.tar.gz")