- Kafkaと関連システムの一元管理 - ・ストリーミングデータの監視 Confluent Control Center（C3）は、Confluent Enterprise もしくは Confluent Cloud にて提供されるKafkaや周辺システムの構成管理ツールです。システムの監視は、Kafka環境にてKafka Clus…

- より簡単な利用を実現 - ・KSQLとは KSQLは、Confluent社が中心になり開発した Apache Kafka 用のSQLライクな言語で処理を記述できるストリーミング処理エンジンです。Kafkaを利用してストリーミングデータを処理する際に、そのデータの変換、加工（フィル…

- ストリーミングデータにおける柔軟性 - ・柔軟性を考える ストリーミングデータは、第1回でも記載しましたが、無限に発生するデータや恒久的に継続されるデータになります。ストリーミングデータの内容や送られてくる場所、処理のタイミングなどバラバラな…

- さまざまなデータを処理することの重要性 - ・Kafkaの運用 Kafkaはオープンソースのであるため、自社のインフラにて運用することができます。前述のようにKafkaは、スケーラビリティや耐障害性といった特性を持っていることから基本的には複数台で運用を行…

- さまざまなデータを処理することの重要性 - ・データハブの必要性 データハブという言葉には、明確な定義があるわけではないが、さまざまなシステムからデータを収集して集め、必要とされるシステムからの要求に応じて提供可能な、高い信頼性とスケーラビ…

- データのストアを実現 - ・ストリーミングデータの処理 ストリーミングデータの処理は、リアルタイムでの活用、かつ膨大な情報量を処理が求められる現在では必要不可欠になっています。 今までもメッセージキューやログの収集システムなどで、企業はさまざ…