在spark2.4.0（databricks平台上的2.3）中，您可以使用concat函数在dataframeapi中进行本机操作。在您的示例中，您可以这样做：

from pyspark.sql.functions import col, concat

df.withColumn('tokens_bigrams', concat(col('tokens'), col('bigrams')))

这是相关的吉拉。

Spark>=2.4
你可以用 concat 功能（spark-23736）：

from pyspark.sql.functions import col, concat 

df.select(concat(col("tokens"), col("tokens_bigrams"))).show(truncate=False)

# +---------------------------------+

# |concat(tokens, tokens_bigrams)   |

# +---------------------------------+

# |[one, two, two, one two, two two]|

# |null                             |

# +---------------------------------+

当其中一个值 NULL 你可以 coalesce 与 array :

from pyspark.sql.functions import array, coalesce      

df.select(concat(
    coalesce(col("tokens"), array()),
    coalesce(col("tokens_bigrams"), array())
)).show(truncate = False)

# +--------------------------------------------------------------------+

# |concat(coalesce(tokens, array()), coalesce(tokens_bigrams, array()))|

# +--------------------------------------------------------------------+

# |[one, two, two, one two, two two]                                   |

# |[three]                                                             |

# +--------------------------------------------------------------------+

Spark<2.4
不幸的是连接 array 列在一般情况下，您需要一个自定义项，例如：

from itertools import chain
from pyspark.sql.functions import col, udf
from pyspark.sql.types import *

def concat(type):
    def concat_(*args):
        return list(chain.from_iterable((arg if arg else [] for arg in args)))
    return udf(concat_, ArrayType(type))

可用作：

df = spark.createDataFrame(
    [(["one", "two", "two"], ["one two", "two two"]), (["three"], None)], 
    ("tokens", "tokens_bigrams")
)

concat_string_arrays = concat(StringType())
df.select(concat_string_arrays("tokens", "tokens_bigrams")).show(truncate=False)

# +---------------------------------+

# |concat_(tokens, tokens_bigrams)  |

# +---------------------------------+

# |[one, two, two, one two, two two]|

# |[three]                          |

# +---------------------------------+