以前我使用aws并使用presto读取数据，现在我迁移到azure并希望为不同的帐户使用blob存储创建配置单元表，但我无法创建它。我正在为aws创建配置单元表，格式如下。
CREATE TABLE hive.web.request_logs (
request_time timestamp,
url varchar,
ip varchar,
user_agent varchar
)
WITH (
format = 'ORC',
external_location = 's3a://key:secret-key@my-bucket/data/logs/'
)我正在尝试以下azure代码：
CREATE TABLE hive.web.request_logs (
request_time timestamp,
url varchar,
ip varchar,
user_agent varchar
)
WITH (
format = 'ORC',
external_location = 'wasb://account:account-key.blob.core.windows.net@my-bucket/data/logs/'
)我希望为不同帐户和帐户密钥的azure blob存储创建配置单元表。
1条答案
按热度按时间sirbozc51#
您需要通过ambari修改配置以在Map到azure blob存储的配置单元上创建外部表，如下所示：
可以通过以下步骤通过ambari向现有集群添加存储帐户
步骤1：转到ambari Jmeter 板https://clustername.azurehdinsight.net/
步骤2：导航到hdfs-->config-->advanced，向下滚动到custom core站点
第3步：选择addproperty并按以下方式输入您的存储帐户名和密钥
hdfs>>自定义核心站点
key=>fs.azure.account.key.（存储\帐户）.blob.core.windows.net
值=>（存储访问密钥）
步骤4：导航到hive=>config=>advanced，向下滚动到custom hive env
步骤5：选择addproperty并按以下方式输入您的存储帐户名和密钥
配置单元=>>自定义配置单元环境
key=>azure\存储\帐户
值=>（存储帐户名称）
key=>azure\存储\密钥
值=>（存储访问密钥）
步骤6：从ambari重新启动服务
希望这有帮助。