我在MS Azure上使用数据块，每次我将pandas Dataframe 转换为Pyspark Dataframe 时都会收到此警告：
/databricks/spark/python/pyspark/sql/pandas/conversion.py:539: FutureWarning: iteritems is deprecated and will be removed in a future version. Use .items instead.
arrow_data = [[(c, t) for (_, c), t in zip(pdf_slice.iteritems(), arrow_types)]我使用的代码是：
df_spk = spark.createDataFrame(df_pd)由于我找不到替代上面这行代码的方法，所以我不能使用较新版本的Python。有人有什么想法吗？
提前谢谢你T
1条答案
按热度按时间oogrdqng1#
我认为您看到的警告消息与Python中的FutureWarning有关，
表示iteritems（）方法已被弃用，并将在未来版本中删除。
此警告消息来自pandas到PySpark DataFrame的转换过程。
要忽略或不显示此类FutureWarning消息，
您可以在脚本的开头使用以下代码片段
上面的代码片段将忽略代码中的所有FutureWarning消息。
如果只想忽略与iteritems（）方法相关的FutureWarning消息，
您可以使用下面的代码段
另外，请考虑尝试升级到使用.items（）方法而不是iteritems（）的PySpark或pandas的新版本。