Kafka, Neo4J を使用した DMP(Data Management Platform) の構築

構成

Kafka をデータレイクとした構成の DMP (Data Management Platform)の構築を行いました。

アプリケーションからデータベースに更新が入ると、DebeziumによってデータがニアリアルタイムでKafkaにメッセージングされたり、S3に置いたファイルを読み込んで、Kafka Connector で整形されたデータがSSoT(Single Source of Truth)としての Neo4J に格納されるよう設計、データマートへのデリバリも同じくKafka Connectorを採用し、Elastic Cloud や RDS へ連携されるようにしました。これによりデータのさらなる利活用が期待され、さらなるデータソースの連携・データマートへの適用が検討されています。