NiFi、Kafka、Tranquility、Druid、Supersetを使用したツイートのストリーミング



Streaming Tweets With Nifi



からの転送
時間の概念は、すべてのビッグデータ処理テクノロジーの中核ですが、データストリーム処理の世界では特に重要です。確かに、少なくともリアルタイムのストリーム処理の世界では、さまざまなシステムが時間ベースの処理を処理する方法が、小麦ともみ殻を区別するものであると言うのは合理的です。

最近、ストリーム処理の需要が大幅に高まっています。 Hadoopプロジェクト全体で共通のニーズは、ストリーミングデータから最新のインジケーターを構築することです。



ソーシャルメディア分析は、NiFi、Kafka、Tranquility、Druid、Supersetを使用してストリーミング分析を表示するダッシュボードを構築する方法を示すための優れたユースケースです。

この処理フローには、次のステップがあります。
-ApacheNiFiを使用したツイートの取り込み
-ApacheKafkaを使用したスト​​リーム処理
-データと静けさの統合
-Druidを使用したOLAPデータベースストレージ
-Apacheスーパーセットを使用した視覚化
画像
コーディングに取り掛かる前に、各コンポーネントを確認してください。



このHDFクラスターを構築するために、それぞれ16コアと32RAMの4台のマシンが使用されました。私は、1台のマシンに1つのコンポーネントを担当させました。
画像
この環境をセットアップした後、Nifiでフローの構築を開始できます。

http://druid.io/docs/latest/tutorials/tutorial-kafka.html
http://druid.io/blog/2013/08/30/loading-data.html
https://github.com/druid-io/tranquility