高度なデータ分析とビジネスインテリジェンスを可能にするデータマネージメント・プラットフォームを構築し、ビジネス上の意思決定を支援する。
悩みポイント
組織内でのアプリ同士のデータ連携
背景と課題
日本デザイン振興会は、グッドデザイン賞データを持つ複数のシステムを運用しており、それらのデータを統合して効率的に活用する必要がありました。 従来のシステムでは以下のような課題がありました。
- データが複数のプロジェクトに分散しており、統合が困難
- リアルタイムデータ処理が不十分で、データのタイムリーな取得が困難
- データや分析結果を入手するまでに時間がかかり業務で活用できない
提供したソリューション
当社は、以下の技術を用いてデータマネージメント・プラットフォームを構築しました。
データウェアハウスの選定と構築
- グラフデータベース Neo4j をデータウェアハウスとして選定し、複雑なデータ関係を効果的に管理。Neo4j の柔軟なスキーマを活用し、データモデルを構築
データパイプラインの構築
- Apache Kafka を使用して、リアルタイムデータストリーミングとデータパイプラインを構築
- Kafka Connect を利用し、複数のデータソースから Neo4j へのデータ取り込みを自動化
データ統合と変換
- Kafka Streams を使用してデータの変換と集約をし、リアルタイムで Neo4j にデータを統合
- Debezium や FilePulse など ETL プロセスの自動化により、データの整合性と一貫性を確保
可視化と分析
- ElasticSearch をデータマートとするプロジェクトとの連携により、データの検索や集約が容易になった
成果と効果
- データ統合の効率化 : 複数のデータソースからのデータ統合が容易になり、データサイロの問題を解消。
- リアルタイムデータ処理 : Kafka によるリアルタイムデータ処理により、最新のビジネスインサイトが即座に取得可能となり、迅速な意思決定を支援。
- データの可視化と分析の向上 : Neo4j のグラフデータベース機能を活用し、データの関係性を可視化、Single Source of Truth として活用できるようになった。