- Kafkaと関連システムの一元管理 - ・ストリーミングデータの監視 Confluent Control Center（C3）は、Confluent Enterprise もしくは Confluent Cloud にて提供されるKafkaや周辺システムの構成管理ツールです。システムの監視は、Kafka環境にてKafka Clus…

- より簡単な利用を実現 - ・KSQLとは KSQLは、Confluent社が中心になり開発した Apache Kafka 用のSQLライクな言語で処理を記述できるストリーミング処理エンジンです。Kafkaを利用してストリーミングデータを処理する際に、そのデータの変換、加工（フィル…

- ストリーミングデータにおける柔軟性 - ・柔軟性を考える ストリーミングデータは、第1回でも記載しましたが、無限に発生するデータや恒久的に継続されるデータになります。ストリーミングデータの内容や送られてくる場所、処理のタイミングなどバラバラな…

- さまざまなデータを処理することの重要性 - ・Kafkaの運用 Kafkaはオープンソースのであるため、自社のインフラにて運用することができます。前述のようにKafkaは、スケーラビリティや耐障害性といった特性を持っていることから基本的には複数台で運用を行…

- さまざまなデータを処理することの重要性 - ・データハブの必要性 データハブという言葉には、明確な定義があるわけではないが、さまざまなシステムからデータを収集して集め、必要とされるシステムからの要求に応じて提供可能な、高い信頼性とスケーラビ…

- データのストアを実現 - ・ストリーミングデータの処理 ストリーミングデータの処理は、リアルタイムでの活用、かつ膨大な情報量を処理が求められる現在では必要不可欠になっています。 今までもメッセージキューやログの収集システムなどで、企業はさまざ…

- リアルタイムなストリーム処理の実現 - ・ストリーミングデータ処理するプラットフォーム 前回の記事ではリアルタイムにデータを活用することがどのようにビジネスの可能性を広げるかをお伝えしました。これらについては様々な手法があります。ストリーミ…

- リアルタイムデータの活用が鍵に - ・金融業界で起き始めた新たな動き 顧客データが様々な場面で利用されるようになり、個所で新しい動きが始まっています。ここ最近の動きでは、最も変化が起きにくいと言われている金融ビジネスへの異業種参入が多く起き…

- データ処理の変化とその課題 - ・Big Dataが生み出す新しいビジネス 前回では、ストリーミングデータがどういったものであり、それに関する課題について書きました。本章からは技術的なさまざまな課題について書きます。 Big Dataという言葉が2010年代から…

- pub/subシステムのメリット - ・広範囲になったデータの取り扱い 昨今新しい石油といわれているのがデータです。正確に言えば行動や個人情報なども含むさまざまな分野に利用することが出来るデータが新たな石油といわれて注目されてきています。 インター…