hive的输出在最后由这两个警告组成如何抑制这两个警告

zour9fqk  于 2021-05-29  发布在  Hadoop
关注(0)|答案(3)|浏览(718)

正在使用UDF的配置单元查询输出在末尾包含这两个警告。如何抑制这两个警告。请注意,这两个警告作为输出的一部分紧跟在输出之后。

WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked.
WARN: Please see http://www.slf4j.org/codes.html#release for an explanation.

hadoop版本

Hadoop 2.6.0-cdh5.4.0

配置单元--版本

Hive 1.1.0-cdh5.4.0
vnzz0bqm

vnzz0bqm1#

如果你用直线代替Hive,错误就会消失。虽然不是最好的解决方案,但我正计划向cdh用户组发帖,问同样的问题,看看这是不是一个可以修复的bug。

qf9go6mv

qf9go6mv2#

尝试将hive\u add\u spark\u assembly设置为false,但无效。
最后,我在cloudera社区发现了一个post问题。请参见:https://community.cloudera.com/t5/support-questions/warning-message-in-hive-output-after-upgrading-to-hive/td-p/157141
你可以试试下面的命令,对我有用!

hive -S -d ns=$hiveDB -d tab=$t -d dunsCol=$c1 -d phase="$ph1" -d error=$c2 -d ts=$eColumnArray -d reporting_window=$rDate -f $dir'select_count.hsql' | grep -v "^WARN" > $gOutPut 2> /dev/null
50pmv0ei

50pmv0ei3#

发生此错误的原因是添加了程序集jar,其中包含来自icl-over-slf4j.jar(导致stdout消息)和slf4j-log4j12.jar的类。
您可以尝试从以下几点开始:
尝试移除装配罐,以防使用。
请看以下链接:https://issues.apache.org/jira/browse/hive-12179 这表明,我们可以在配置单元中触发一个标志,只有在配置单元add\u spark\u assembly=“true”时,才加载spark assembly。
https://community.hortonworks.com/questions/34311/warning-message-in-hive-output-after-upgrading-to.html :尽管有一个解决方法,可以避免任何结束时间更改,即使用shell脚本手动删除文件结尾的2行。

相关问题