分散ファイルシステムの比較HDFSVS Ceph
Comparison Distributed File Systems Hdfs Vs Ceph
1.要約:
最近、私はCephについて学び、常にHDFSと比較したいと思っています。 1つは段階的な要約を作成することであり、もう1つは2つの分散ファイルシステムについての理解を深めることです。
2.レビュー:
1. HDFSは、Google FS(GFS)の開発に基づいています。それは比較的早く始まり、ビッグデータソリューションで一般的に使用される分散ファイルシステムです。 HadoopソリューションのHDFSは次のとおりです。
HDFSアーキテクチャは次のとおりです :
Namenodeはファイルシステムのメタデータを担当し、datanodeは実際のデータブロックを担当します。
2. Cephの履歴:参照してください Ceph紹介シリーズ(1):Cephの歴史
Cephアーキテクチャは次のとおりです :
Cephは元々分散ファイルシステムになるように設計されていましたが、クラウドコンピューティングのアプリケーションが多数あるため、最終的にはブロックストレージとオブジェクトストレージの3つの形式のストレージをサポートするようになります。
ストレージ、ファイルシステム
Cephオブジェクトストレージの原則
3、比較:
HDFSとCeph 同じ ポイント
HDFS | Ceph | |
分散ファイルシステムクラスター | はい | はい |
構造パターン | マスター/スレーブ | クライアントサーバー |
Hadoopのバックエンド分散ファイルシステムとして使用できますか | はい | はい、libradosはJavaインターフェースを提供します。参照:http://docs.ceph.com/docs/master/cephfs/hadoop/ |
冗長コピーの耐災害性 | はい | はい |
スケーラビリティ | はい | はい |
高効率 | 高い | 非常に高い |
HDFSとCeph 異なる ポイント
HDFS | Ceph | |
ソースコードプログラミング言語 | java | C ++(cephクライアントはC ++ / C / Java / pythonおよびその他の言語を提供します) |
ファイルシステムの種類 | ファイルストレージ | オブジェクトストレージ(クライアントはブロック(RBD)/ファイル(CephFS)/オブジェクトストレージ(RGW)を提供しますが、サーバー側のストレージバックエンドFilestore / Blutstoreは基本的にオブジェクトストレージです)。 以下を参照してください。 3つのCeph(ブロック/ファイル/オブジェクト)ストレージインターフェイスの起源と特徴 |
ローカルファイルシステムに基づくかどうか | HDFSはローカルファイルシステムに基づいています | CephのストレージバックエンドFileStoreはローカルファイルシステムに基づいていますBlueStoreはローカルファイルシステムに基づいていませんが、ブロックデバイスに直接基づいています。 RocketDBはメタデータの管理に使用され、BlueFSはログファイルシステムを記録します。 以下を参照してください。 Ceph Advanced Series(1):いくつかの基本概念(2/2、部分的なサーバー側OSD) |
分散ファイルシステムの分割 | ファイルはブロックに分割されます(ブロックサイズのデフォルト構成は128Mです) | ファイルはオブジェクトに分割されます(オブジェクトサイズのデフォルト構成は4Mです) |
上司を縛る(解決策) | ビッグデータソリューション(Hadoop / Sparkなど) | クラウドコンピューティングソリューション(Openstack)の導入方法 |
終わり:
2つのファイルシステムのその他の違いについて詳しく知りたい場合は、メッセージを残してください。