您可以在固定间隔的微批量或连续批量中运行spark结构化流应用程序。下面是一些可用于调整流应用程序的选项。
Kafka配置：
Kafka的分区数：
你可以增加Kafka的分区数。因此，更多的消费者可以同时读取数据。根据输入速率和引导服务器的数量将其设置为适当的数字。
spark流配置：
驱动程序和执行程序内存配置：
计算每批数据的大小（#记录*每条消息的大小），并相应地设置内存。
执行人人数：
在kafka主题中将executors的数量设置为number of partitions。这增加了并行性。同时读取数据的任务数。
限制偏移量：
每个触发间隔处理的最大偏移量的速率限制。指定的偏移总数将按比例分布在不同卷的主题分区中。

val df = spark
    .read
    .format("kafka")
    .option("kafka.bootstrap.servers", "host1:port1,host2:port2")
    .option("subscribe", "topicName")
    .option("startingOffsets", "latest")
    .option("maxOffsetsPerTrigger", "1000000")
    .load()

使用检查点从故障中恢复：
如果出现故障或有意关闭，可以恢复上一个查询的上一个进度和状态，并在其停止的位置继续。这是通过使用检查点和预写日志来完成的。

finalDF
  .writeStream
  .outputMode("complete")
  .option("checkpointLocation", "path/to/HDFS/dir")
  .format("memory")
  .start()

触发：
流式查询的触发器设置定义了流式数据处理的时间，该查询是作为具有固定批处理间隔的微批处理查询执行，还是作为连续处理查询执行。