ソースコード解析を達成するためのApacheのスパークデルタ湖のトランザクションログ

ソースコード解析を達成するためのApacheのスパークデルタ湖のトランザクションログ

我々は持っている、これを Apacheはデルタ湖のトランザクションログ、記事の主な目的とどのようにそれが動作スパークものを詳細に。記事は良いが、学ぶために、この論文の目的のために、湖デルタ、アトミック保証の内部の仕組みをご紹介し、デルタ湖のトランザクションログを達成するために、ソースコードレベルで見て私たちを導くことができます。この記事を見たとき、私は強くお勧めします見ての「Apacheのスパークデルタ湖のトランザクションログの深い理解」の記事を。

デルタ湖更新データトランザクションの実装

表データに対するすべての更新は、(データを削除し、更新データをデータを挿入)次の手順に従ってする必要があり、その主な目的は、内部のトランザクション・ログと他のレコードに追加するファイルを、削除するファイルを書くことであるデルタ湖、つまり、ディレクトリ内_delta_log JSONファイル、デすることにより、この実現

おすすめ

転載: yq.aliyun.com/articles/719418
おすすめ