从sparkscala中的hdfs读取.dat文件以应用sql函数

13z8s7eq  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(283)

我的hdfs集群中有一个.dat文件的文件夹。我想对那个特定文件夹中的文件应用sql函数。它们的格式如下:

/user/hu/file.dat
    /user/hu/file2.dat
    etc etc

我正在使用以下函数来执行此操作:

val datanew = sc.textFile("user/hu");
   val tables = ssqlc.read.json(datanew);
   tables.registerTempTable("tabledata");

我稍后要执行以下功能:

tweets = shsqlc.sql("SELECT  id as Id, " +"number as UserId," +"body as newbody")

但是当我运行这个程序时,我得到一个错误,表不存在。有人能帮忙吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题