将流Dataframe转换为list pyspark

syqv5f0l  于 2021-07-13  发布在  Spark
关注(0)|答案(0)|浏览(230)

我有一个名字 dfnew2 . 我尝试使用以下逻辑将其转换为列表,但出现了一些错误:
org.apache.spark.sql.analysisexception:具有流源的查询必须使用writestream.start()执行;;
此逻辑适用于批处理

for row in dfnew2.collect():
 tmpList = row 
 id = tmpList[0]
 MISISDN = tmpList[1]
 df1 = spark.sql(f"select '{str(id)}' as id")
 df2 = df1.withColumn(str(MISISDN), lit(1))
 func(df2)

致以最诚挚的问候

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题