hadoop配置单元：如何允许普通用户连续写入数据并在仓库目录中创建表？

nx7onnlm 于 2021-06-04 发布在 Hadoop

关注(0)|答案(2)|浏览(339)

我在一个节点上运行hadoop2.2.0.2.0.6.0-101。我正在尝试运行javamrd程序，该程序在常规用户模式下从eclipse向现有配置单元表写入数据。我得到一个例外：

org.apache.hadoop.security.AccessControlException: Permission denied: user=dev, access=WRITE, inode="/apps/hive/warehouse/testids":hdfs:hdfs:drwxr-xr-x

这是因为普通用户对仓库目录没有写权限，只有 hdfs 用户需要：

drwxr-xr-x   - hdfs hdfs          0 2014-03-06 16:08 /apps/hive/warehouse/testids
drwxr-xr-x   - hdfs hdfs          0 2014-03-05 12:07 /apps/hive/warehouse/test

为了避免这种情况，我更改了仓库目录的权限，因此每个人现在都有写权限：

[hdfs@localhost wks]$ hadoop fs -chmod -R a+w /apps/hive/warehouse
[hdfs@localhost wks]$ hadoop fs -ls /apps/hive/warehouse
drwxrwxrwx   - hdfs hdfs          0 2014-03-06 16:08 /apps/hive/warehouse/testids
drwxrwxrwx   - hdfs hdfs          0 2014-03-05 12:07 /apps/hive/warehouse/test

这在一定程度上有所帮助，mrd程序现在可以作为普通用户写入仓库目录，但只能写入一次。第二次尝试将数据写入同一个表时，我得到：

ERROR security.UserGroupInformation: PriviledgedActionException as:dev (auth:SIMPLE) cause:org.apache.hcatalog.common.HCatException : 2003 : Non-partitioned table already contains data : default.testids

现在，如果我删除输出表并在 hive shell，我再次获得不允许普通用户将数据写入此表的默认权限：

[hdfs@localhost wks]$ hadoop fs -ls /apps/hive/warehouse
drwxr-xr-x   - hdfs hdfs          0 2014-03-11 12:19 /apps/hive/warehouse/testids
drwxrwxrwx   - hdfs hdfs          0 2014-03-05 12:07 /apps/hive/warehouse/test

请告知配置单元正确的配置步骤，这些步骤将允许程序以普通用户的身份在配置单元仓库中执行以下操作：
以编程方式创建/删除/重命名配置单元表？
从配置单元表以编程方式读/写数据？
非常感谢！

hadoop Hive data-warehouse Permissions

来源：https://stackoverflow.com/questions/22321084/hadoop-hive-how-to-allow-regular-user-continuously-write-data-and-create-tables

2条答案

按热度按时间

w8biq8rn1#

如果从配置单元外部维护表，则将表声明为外部：
外部表指向其存储的任何hdfs位置，而不是存储在配置属性hive.metastore.warehouse.dir指定的文件夹中。
配置单元管理员可以创建表，并将其指向您自己的用户拥有的hdfs存储位置，您可以授予配置单元从该位置读取的权限。
一般来说，没有特权的用户没有办法执行未经授权的特权操作。任何这样的方式在技术上都是一种利用，你永远不应该依赖它：即使今天有可能，它也很可能很快就会被关闭。配置单元授权（和hcatalog授权）与hdfs授权正交。
你的申请也不正确，与授权问题无关。您试图在同一个表中写入“两次”，这意味着您的应用程序无法正确处理分区。从hive分区的介绍开始。

赞(0）回复(0）举报 2021-06-04

e5nszbig2#

您可以配置hdfs-site.xml，例如：

<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>

此配置将禁用对hdfs的权限。因此，普通用户可以在hdfs上执行这些操作。
我希望这个解决方案能对你有所帮助。

赞(0）回复(0）举报 2021-06-04

我来回答

hadoop配置单元：如何允许普通用户连续写入数据并在仓库目录中创建表？

2条答案

相关问题

热门标签

最新问答