Kafka Snowflake ConnectStandalone - 启动 Snowflake 连接器时出错

Posted 2023-03-23

【中文标题】Kafka Snowflake ConnectStandalone - 启动 Snowflake 连接器时出错

【英文标题】：Kafka Snowflake ConnectStandalone - Error while starting the Snowflake connector

【发布时间】：2021-11-04 14:46:59

【问题描述】：

[SF_KAFKA_CONNECTOR] SnowflakeSinkTask[ID:0]:start. Time: 0 seconds (com.snowflake.kafka.connector.SnowflakeSinkTask:154)
[2021-09-07 23:19:44,145] INFO WorkerSinkTaskid=snowflakeslink-0 Sink task finished initialization and start (org.apache.kafka.connect.runtime.WorkerSinkTask:309)
[2021-09-07 23:19:44,169] WARN [Consumer clientId=connector-consumer-snowflakeslink-0, groupId=connect-snowflakeslink] Connection to node -1 (localhost/127.0.0.1:9092) terminated during authentication. This may happen due to any of the following reasons: (1) Authentication failed due to invalid credentials with brokers older than 1.0.0, (2) Firewall blocking Kafka TLS traffic (eg it may only allow HTTPS traffic), (3) Transient network issue. (org.apache.kafka.clients.NetworkClient:769)
[2021-09-07 23:19:44,170] WARN [Consumer clientId=connector-consumer-snowflakeslink-0, groupId=connect-snowflakeslink] Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient:1060)

【问题讨论】：

terminated during authentication ... 您的代理是否真的使用身份验证？请显示所有相关的属性文件（server.properties、connect-standalone 和您的连接器配置）

不，代理中没有任何用于身份验证的内容。

我已在作为图像发布的主要问题中附上了属性文件。 i.stack.imgur.com/BxSzP.png

ERROR 在连接器错误后停止 (org.apache.kafka.connect.cli.ConnectStandalone:117) java.util.concurrent.ExecutionException: org.apache.kafka.connect.errors.ConnectException: 失败查找任何实现 Connector 且名称与 com.snowflake.kafka.connector.SnowflakeSinkConnector 匹配的类，可用的连接器有：PluginDescklass=class org.apache.kafka.connect.file.FileStreamSinkConnector, name='org.apache.kafka。 connect.file.FileStreamSinkConnector', version='2.8.0', encodedVersion=2.8.0, type=sink, typeName='sink', location='classpath'

请澄清您的具体问题或提供其他详细信息以准确突出您的需求。正如目前所写的那样，很难准确地说出你在问什么。

【参考方案1】：

连接...在身份验证期间终止

您需要删除 connect-standalone.properties 中的 consumer.security.protocol=SSL，因为您的代理的 server.properties listener 未使用 SSL

你的下一个错误

找不到任何实现 Connector 且名称与 com.snowflake.kafka.connector.SnowflakeSinkConnector 匹配的类，可用的连接器有：PluginDescklass=class org.apache.kafka.connect.file.FileStreamSinkConnector, name='org .apache.kafka.connect.file.FileStreamSinkConnector

看列表，确实不存在，说明你没有正确解压Snowflake连接器库到plugin.path，应该是Kafka内部lib文件夹之外的文件夹，对于例如plugin.path=/opt/kafka-connectors/，带有snowflake 的子文件夹，其中包含所有需要的JAR。这样，它不会与依赖此文件夹的代理和其他 Kafka/Zookeeper CLI 工具的实际类路径冲突

【讨论】：

另外，localhost:9092 是 Kafka 地址，可能不是 Schema Registry，因此您的连接器配置也不正确