我的应用程序只能写入AWS S3或Google Cloud Storage。每小时，这些应用程序都会生成大量的小日志文件。以前，这些日志会写入AWS S3，并向AWS SQS发送通知。使用Filebeat输入类型：aws-s3并指定queue_url，成功读取SQS队列，从AWS S3检索日志（https：//www.elastic.co/guide/en/beats/filebeat/current/filebeat-input-aws-s3.html#_base_url）。
现在，应用程序将日志写入Google Cloud Storage。如果我使用类型为gcs（https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-input-gcs.html）的Filebeat，则Filebeat会保存每个文件的偏移量（其中有大量文件）。如果我将Google Cloud Storage中新创建的文件的通知设置为Google Pub/Sub。输入类型为gcp-pubsub（https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-input-gcp-pubsub.html）的Filebeat只会检索通知，而不会检索实际日志。
Filebeat中是否有类似于SQS的Pub/Sub机制？当然，可以额外配置DataFlow以将文件内容从Google Cloud Storage写入Google Pub/Sub，但我希望尽可能避免这种情况。