如何在pyspark中从给定的Dataframe创建边缘Dataframe以进行网络分析？

uwopmtnx 于 2021-05-27 发布在 Spark

关注(0)|答案(0)|浏览(237)

我有Spark dataframe 它有三列，即
身份证件
实体名称
地址。
我想创造一个边缘 dataframe 基本上有两列实体id共享一个公共地址。例如，如果id1和 ID2 共享一个公共地址，那么它就是边缘的一部分 dataframe . 我是新来的Spark，因此不知道如何进行。实现这一点的示例代码将非常有用。
最终，我将使用这一优势 dataframe 使用创建图形 GraphFrames .

python apache-spark graphframes

来源：https://stackoverflow.com/questions/63192048/how-to-create-an-edge-dataframe-from-a-given-dataframe-in-pyspark-for-network-an