case TImpalaQueryOptions::PARQUET_FALLBACK_SCHEMA_RESOLUTION: {
if (iequals(value, "position") ||
iequals(value, to_string(TParquetFallbackSchemaResolution::POSITION))) {
query_options->__set_parquet_fallback_schema_resolution(
TParquetFallbackSchemaResolution::POSITION);
} else if (iequals(value, "name") ||
iequals(value, to_string(TParquetFallbackSchemaResolution::NAME))) {
query_options->__set_parquet_fallback_schema_resolution(
TParquetFallbackSchemaResolution::NAME);
} else {
return Status(Substitute("Invalid PARQUET_FALLBACK_SCHEMA_RESOLUTION option: "
"'$0'. Valid options are 'POSITION' and 'NAME'.", value));
}
break;
}
impala服务器未设置默认查询选项。所有选项都是在设置客户端会话的位置设置的。所以你需要配置你正在使用的客户端。看到了吗 shell/impala_shell_config_defaults.py 例如。 但是，您仍然可以修改代码并重新编译：） 在 common/thrift/ImpalaInternalService.thrift ``` struct TQueryOptions { .... // Determines how to resolve Parquet files' schemas in the absence of field IDs (which // is always, since fields IDs are NYI). Valid values are "position" (default) and // "name". 43: optional TParquetFallbackSchemaResolution parquet_fallback_schema_resolution = 0 <--- change it to 1 .... }
2条答案
按热度按时间368yc8dk1#
感谢阿莫斯提供的信息，
我在cloudera论坛上发布了同样的问题，他们给我指出了一种通过cloudera管理器配置这个的方法。
http://community.cloudera.com/t5/interactive-short-cycle-sql/parquet-fallback-schema-resolution/m-p/62318#m3883
dbf7pr2w2#
恐怕这在 Impala 这边是不可配置的。
impala服务器未设置默认查询选项。所有选项都是在设置客户端会话的位置设置的。所以你需要配置你正在使用的客户端。看到了吗
shell/impala_shell_config_defaults.py例如。但是，您仍然可以修改代码并重新编译：）
在
common/thrift/ImpalaInternalService.thrift```struct TQueryOptions {
....
// Determines how to resolve Parquet files' schemas in the absence of field IDs (which
// is always, since fields IDs are NYI). Valid values are "position" (default) and
// "name".
43: optional TParquetFallbackSchemaResolution parquet_fallback_schema_resolution = 0 <--- change it to 1
....
}