flink错误:java.lang.classnotfoundexception:org.apache.flink.shaded.calcite.com.google.common.base.throwables

f87krz0w  于 2021-06-25  发布在  Flink
关注(0)|答案(2)|浏览(1823)

我使用flink来流式传输csv文件中的数据。我想把它转换成具有特定模式的表格式。为此,我使用了flink-table_2.10-1.1.3.jar(表api),但出现了以下错误:

log4j:WARN No appenders could be found for logger (org.apache.flink.api.java.typeutils.TypeExtractor).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/shaded/calcite/com/google/common/base/Throwables
    at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.create(JaninoRelMetadataProvider.java:450)
    at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.revise(JaninoRelMetadataProvider.java:460)
    at org.apache.calcite.rel.metadata.RelMetadataQuery.revise(RelMetadataQuery.java:186)
    at org.apache.calcite.rel.metadata.RelMetadataQuery.collations(RelMetadataQuery.java:484)
    at org.apache.calcite.rel.metadata.RelMdCollation.project(RelMdCollation.java:207)
    at org.apache.calcite.rel.logical.LogicalProject$1.get(LogicalProject.java:122)
    at org.apache.calcite.rel.logical.LogicalProject$1.get(LogicalProject.java:120)
    at org.apache.calcite.plan.RelTraitSet.replaceIfs(RelTraitSet.java:238)
    at org.apache.calcite.rel.logical.LogicalProject.create(LogicalProject.java:116)
    at org.apache.calcite.rel.logical.LogicalProject.create(LogicalProject.java:108)
    at org.apache.flink.api.table.plan.logical.Project.construct(operators.scala:90)
    at org.apache.flink.api.table.plan.logical.Project.construct(operators.scala:85)
    at org.apache.flink.api.table.plan.logical.LogicalNode.toRelNode(LogicalNode.scala:78)
    at org.apache.flink.api.table.Table.getRelNode(table.scala:66)
    at org.apache.flink.api.table.StreamTableEnvironment.translate(StreamTableEnvironment.scala:243)
    at org.apache.flink.api.java.table.StreamTableEnvironment.toDataStream(StreamTableEnvironment.scala:147)
    at table_streaming_test.main(table_streaming_test.java:90)
Caused by: java.lang.ClassNotFoundException: org.apache.flink.shaded.calcite.com.google.common.base.Throwables
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 17 more

当我探索相应的jar时,相应的类就出现在那里。你能告诉我为什么会这样吗?
我也可以得到maven源代码,这样我就可以在我的地方构建flink table.jar了吗?

cu6pst1q

cu6pst1q1#

在flinkv1.4.2中,表api也面临同样的问题。
我将opt文件夹中的flink-table_2.11-1.4.2.jar文件添加到lib文件夹中,并重新启动了flink。这对我有用。希望对你也有用:)

n7taea2i

n7taea2i2#

我对cep图书馆也有同样的问题。我添加到我的pom文件,但我不断得到classnotfoundexception。我甚至通过intellij将它与jar文件打包在一起,但没有成功。
如果您使用的是他们的flink quickstart原型,我认为pom文件中还有其他一些东西需要更改才能使其正常工作。当我创建了一个干净的项目并自己添加了flink依赖项时,我再也没有遇到过这种异常。你可以试试看这种方法是否有效。
您还可以将flink表jar文件添加到 lib flink中的文件夹。这也解决了我与cep库的问题。jar文件可以在maven repository网站上找到。下载你想要的版本。
根据 Table and SQL flink网站上的文档:
注意:表api目前不是二进制分布的一部分。请参见此处的链接以获取集群执行。

相关问题