我的hdfs集群中有一个.dat文件的文件夹。我想对那个特定文件夹中的文件应用sql函数。它们的格式如下:
/user/hu/file.dat
/user/hu/file2.dat
etc etc
我正在使用以下函数来执行此操作:
val datanew = sc.textFile("user/hu");
val tables = ssqlc.read.json(datanew);
tables.registerTempTable("tabledata");
我稍后要执行以下功能:
tweets = shsqlc.sql("SELECT id as Id, " +"number as UserId," +"body as newbody")
但是当我运行这个程序时,我得到一个错误,表不存在。有人能帮忙吗?
暂无答案!
目前还没有任何答案,快来回答吧!