spark structured streaming如何指定kafka consumer的组id?

apache-spark apache-spark-sql spark-streaming spark-streaming-kafka 匿名 | 2020-08-01 20:15:00


我想在同一个emr集群中运行2个spark结构化流作业来使用同一个kafka主题。两个作业都处于运行状态。然而,只有一个作业可以得到卡夫卡数据。我对kafka零件的配置如下。
        .format("kafka")
.option("kafka.bootstrap.servers", "xxx")
.option("subscribe", "sametopic")
.option("kafka.security.protocol", "SASL_SSL")
.option("kafka.ssl.truststore.location", "./cacerts")
.option("kafka.ssl.truststore.password", "changeit")
.option("kafka.ssl.truststore.type", "JKS")
.option("kafka.sasl.kerberos.service.name", "kafka")
.option("kafka.sasl.mechanism", "GSSAPI")
.load()

我没有设置组.id。我想两个作业中的相同组id是导致此问题的原因。但是,当我设置组.id,它抱怨“用户指定的消费者组不用于跟踪偏移”。解决这个问题的正确方法是什么?谢谢!





0 答案



World is powered by solitude
备案号:湘ICP备19012068号