分散ファイルシステムの比較HDFSVS Ceph



Comparison Distributed File Systems Hdfs Vs Ceph



1.要約:

最近、私はCephについて学び、常にHDFSと比較したいと思っています。 1つは段階的な要約を作成することであり、もう1つは2つの分散ファイルシステムについての理解を深めることです。

2.レビュー:

1. HDFSは、Google FS(GFS)の開発に基づいています。それは比較的早く始まり、ビッグデータソリューションで一般的に使用される分散ファイルシステムです。 HadoopソリューションのHDFSは次のとおりです。



HDFSアーキテクチャは次のとおりです



Namenodeはファイルシステムのメタデータを担当し、datanodeは実際のデータブロックを担当します。


2. Cephの履歴:参照してください Ceph紹介シリーズ(1):Cephの歴史



Cephアーキテクチャは次のとおりです

Cephは元々分散ファイルシステムになるように設計されていましたが、クラウドコンピューティングのアプリケーションが多数あるため、最終的にはブロックストレージとオブジェクトストレージの3つの形式のストレージをサポートするようになります。
ストレージ、ファイルシステム

Cephオブジェクトストレージの原則

3、比較:

HDFSとCeph 同じ ポイント

HDFS

Ceph

分散ファイルシステムクラスター

はい

はい

構造パターン マスター/スレーブ クライアントサーバー

Hadoopのバックエンド分散ファイルシステムとして使用できますか

はい

はい、libradosはJavaインターフェースを提供します。参照:http://docs.ceph.com/docs/master/cephfs/hadoop/

冗長コピーの耐災害性

はい

はい

スケーラビリティ

はい

はい

高効率

高い

非常に高い

HDFSとCeph 異なる ポイント

HDFS

Ceph

ソースコードプログラミング言語

java

C ++(cephクライアントはC ++ / C / Java / pythonおよびその他の言語を提供します)

ファイルシステムの種類

ファイルストレージ

オブジェクトストレージ(クライアントはブロック(RBD)/ファイル(CephFS)/オブジェクトストレージ(RGW)を提供しますが、サーバー側のストレージバックエンドFilestore / Blutstoreは基本的にオブジェクトストレージです)。

以下を参照してください。 3つのCeph(ブロック/ファイル/オブジェクト)ストレージインターフェイスの起源と特徴

ローカルファイルシステムに基づくかどうか

HDFSはローカルファイルシステムに基づいています

CephのストレージバックエンドFileStoreはローカルファイルシステムに基づいていますBlueStoreはローカルファイルシステムに基づいていませんが、ブロックデバイスに直接基づいています。 RocketDBはメタデータの管理に使用され、BlueFSはログファイルシステムを記録します。

以下を参照してください。 Ceph Advanced Series(1):いくつかの基本概念(2/2、部分的なサーバー側OSD)

分散ファイルシステムの分割

ファイルはブロックに分割されます(ブロックサイズのデフォルト構成は128Mです)

ファイルはオブジェクトに分割されます(オブジェクトサイズのデフォルト構成は4Mです)

上司を縛る(解決策)

ビッグデータソリューション(Hadoop / Sparkなど)

クラウドコンピューティングソリューション(Openstack)の導入方法

終わり:

2つのファイルシステムのその他の違いについて詳しく知りたい場合は、メッセージを残してください。