您可以使用subject进行自左连接，获得不同的对，并添加一列 1 .

import pyspark.sql.functions as F

result = df.alias('t1').join(df.alias('t2'),
    F.expr("t1.subject = t2.subject and t1.name != t2.name"), 
    'left'
).select(
    F.concat_ws(
        ', ',
        F.greatest('t1.name', F.coalesce('t2.name', F.lit('None'))),
        F.least('t1.name', F.coalesce('t2.name', F.lit('None')))
    ).alias('pair')
).distinct().withColumn('val', F.lit(1))

result.show()
+------------+---+
|        pair|val|
+------------+---+
|  Alex, None|  1|
| Anna, David|  1|
|  Anna, Mark|  1|
|  None, Vlad|  1|
| David, Mark|  1|
|Jack, Monica|  1|
+------------+---+

过程可以是：
在数组中对具有相同主题的学生进行分组
打电话给 udf 函数创建数组项排列
添加一列，显示每个主题的数字
呼叫 explode 函数为数组中的每个项分别创建3行
让我们一步一步地做：第一步：分组

import pyspark.sql.functions as F

grouped_df = data_new.groupBy('subject').agg(F.collect_set('name').alias('students_array'))

第二步： udf 功能

from itertools import permutations
def permutatoin(df_col):
    result = sorted([e for e in set(permutations(df_col))])
    return result 
spark.udf.register("perWithPython", permutatoin)
grouped_df  = grouped_df.select('*', permutatoin('students_array'))

步骤3：为每个主题创建一个新的数字值列

grouped_df = grouped_df .withColumn('subject_no', F.rowNumber().over(Window.partitionBy('subject'))

步骤4：创建单独的行

grouped_df.select(grouped_df.subject_no, explode(grouped_df.students_array)).show(truncate=False)