warn报错:
[kafka-producer-network-thread | producer-1] WARN org.apache.kafka.clients.NetworkClient - [Producer clientId=producer-1] Error connecting to node xxxxx:9092 (id: 1 rack: null)
java.net.UnknownHostException: xxxxx
at java.base/java.net.InetAddress$CachedAddresses.get(InetAddress.java:797)
at java.base/java.net.InetAddress.getAllByName0(InetAddress.java:1519)
at java.base/java.net.InetAddress.getAllByName(InetAddress.java:1378)
at java.base/java.net.InetAddress.getAllByName(InetAddress.java:1306)
at org.apache.kafka.clients.DefaultHostResolver.resolve(DefaultHostResolver.java:27)
at org.apache.kafka.clients.ClientUtils.resolve(ClientUtils.java:111)
at org.apache.kafka.clients.ClusterConnectionStates$NodeConnectionState.currentAddress(ClusterConnectionStates.java:512)
at org.apache.kafka.clients.ClusterConnectionStates$NodeConnectionState.access$200(ClusterConnectionStates.java:466)
at org.apache.kafka.clients.ClusterConnectionStates.currentAddress(ClusterConnectionStates.java:172)
at org.apache.kafka.clients.NetworkClient.initiateConnect(NetworkClient.java:985)
at org.apache.kafka.clients.NetworkClient.ready(NetworkClient.java:311)
at org.apache.kafka.clients.producer.internals.Sender.sendProducerData(Sender.java:353)
at org.apache.kafka.clients.producer.internals.Sender.runOnce(Sender.java:326)
at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:242)
at java.base/java.lang.Thread.run(Thread.java:829)
error日志:
[kafka-producer-network-thread | producer-1] ERROR org.apache.kafka.clients.producer.internals.Sender - [Producer clientId=producer-1] Uncaught error in kafka producer I/O thread:
java.lang.IllegalStateException: No entry found for connection 1
at org.apache.kafka.clients.ClusterConnectionStates.nodeState(ClusterConnectionStates.java:330)
at org.apache.kafka.clients.ClusterConnectionStates.disconnected(ClusterConnectionStates.java:134)
at org.apache.kafka.clients.NetworkClient.initiateConnect(NetworkClient.java:921)
at org.apache.kafka.clients.NetworkClient.access$700(NetworkClient.java:67)
at org.apache.kafka.clients.NetworkClient$DefaultMetadataUpdater.maybeUpdate(NetworkClient.java:1086)
at org.apache.kafka.clients.NetworkClient$DefaultMetadataUpdater.maybeUpdate(NetworkClient.java:971)
at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:533)
at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:309)
at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:233)
at java.base/java.lang.Thread.run(Thread.java:829)
本质原因是kafka配置文件server.properites中默认监听hostname:
# Hostname and port the broker will advertise to producers and consumers. If not set,
# it uses the value for "listeners" if configured. Otherwise, it will use the value
# returned from java.net.InetAddress.getCanonicalHostName().
#advertised.listeners=PLAINTEXT://your.host.name:9092
#advertised.listeners=PLAINTEXT://192.34.12.12:9092
两种解决方案
1.修改kafka服务的配置文件,改为监听ip,将 advertised.listeners 中的your.host.name 改为服务器的IP地址即可:
#advertised.listeners=PLAINTEXT://your.host.name:9092
advertised.listeners=PLAINTEXT://192.34.12.12:9092
2.修改producer客户端所在的电脑的host文件,在host文件中添加如下信息:
192.34.12.12 xxxxx
kafka发送数据报错: Error connecting to node xxxxx:9092 (id: 1 rack: null)java.net.UnknownHostExceptio
kafka发送数据报错:Error connecting to node xxxxx:9092 (id: 1 rack: null)java.net.UnknownHostExceptio
今儿在本机搭建 ThingsBoard 测试环境时,
报错
如下:
Error
connec
ting
to
node
kafka
:
9092
(
id
: 1001
rack
:
null
)
kafka
是在本机 docker 环境中安装的,具体配置信息如下:
kafka
:
restart: always
image: wurstmeister/
kafka
depends_on:
- zookeeper
ports:
- "
9092
:
9092
"
Streamiz
Kafka
.NET
是
Apache
Kafka
的
.NET
流处理库。
允许开发
.NET
应用程序,将输入的
Kafka
主题转换为输出
Kafka
主题。 支持
.NET
Standard 2.1。
因此,> =
.NET
Core 3.0和/或
.NET
5.0应用程序可以使用此库。
这是受
Kafka
Streams启发而进行的重写。 最后,它将提供与
Kafka
Streams相同的功能。
该项目正在编写中。 感谢您的贡献!
从2021年开始-1.2.0-永久状态存储(例如:RocksDB存储),分区和Changelog主题
2021年4月-1.3.0-处理器API,指标,交互式查询,备用副本
阅读https://lgouellec.github.io/
kafka
-stre
关于该项目
Kafka
JS是用于
Node
.js的现代客户端。 它与
Kafka
0.10+兼容,并提供对0.11功能的本地支持。
KAFKA
是The
Apache
Soft
war
e Founda
tio
n的注册商标,并已被
Kafka
JS许可使用。
Kafka
JS与
Apache
软件基金会没有任何隶属关系,也不认可。
具有暂停,恢复和寻找的消费者群体
对生产者和消费者的交易支持
GZIP压缩通过可插入编解码器进行Snappy,LZ4和ZSTD压缩
普通SSL和SASL_SSL实现
kettle连接Oracle
报错
报错
信息
错误连接数据库 [aaa] :
org
.pentaho.di.core.
excep
tio
n.KettleDatabase
Excep
tio
n:
Error
occurred while trying to
connec
t to the database
Error
connec
ting
to database: (using class oracle.jdbc.driver.OracleDriver)
Listener refused the
connec
tio
n with th
本文,Verisign实验室大规模数据分析基础设施的技术主管Michael通过示例对
Kafka
整合到SparkStreaming进行了详细讲解,更分享了该领域的现状和一些注意点。作者MichaelG.Noll是瑞士的一位工程师和研究员,效力于Verisign,是Verisign实验室的大规模数据分析基础设施(基础Hadoop)的技术主管。本文,Michael详细的演示了如何将
Kafka
整合到SparkStreaming中。期间, Michael还提到了将
Kafka
整合到SparkStreaming中的一些现状,非常值得阅读,虽然有一些信息在Spark1.2版本中已发生了一些变化,比如HA策略: