Kafka Producer与Kafka Connector

我需要通过调用存储过程将数据从数据库(例如Oracle DB)推送到kafka主题。我也需要对消息进行一些验证

我应该使用Producer API还是Kafka Connector。

评论
  • phic
    phic 回复

    您应该使用Kafka Connect。或者,或者使用生产者API并编写处理以下内容的代码:

    • 向外扩展
    • 故障转移
    • 重新启动
    • 模式
    • 序列化
    • 转变

    并且以标准化的方式与数百种其他技术集成,以简化可移植性和管理。

    到那时,您将重新发明Kafka Connect ;-)

    To learn more about Kafka Connect see this talk. To learn about the specifics of database->Kafka ingestion see this talk and this blog.