ビデオソース: Station B「AWS 認定ソリューションアーキテクト アシスタント レベル SAA-C03」
学習中に先生の授業内容やテストノートを整理してみんなで共有してください。違反しているものは削除されます。よろしくお願いします。
要約投稿を添付します: AWS アシスタントアーキテクト認定トレーニング | 概要
ライフサイクル ルール (S3 分析を使用)
Amazon S3 - ストレージクラス間の移動
- ストレージクラス間でオブジェクトを移行できます
- アクセス頻度の低いオブジェクトについては、標準 IA に移動します。
- 高速アクセスが必要ないアーカイブ オブジェクトについては、Glacier または Glacier Deep Archive に移動します。
- オブジェクトの移動はライフサイクル ルールを使用して自動化できます
Amazon S3 - ライフサイクルルール
- 移行アクション - 別のストレージ クラスに移行するようにオブジェクトを構成します。作成から 60 日後にオブジェクトを標準 IA クラスに移動します。6 か月後にアーカイブするために Glacier に移動します。
- 有効期限アクション - 一定の時間が経過するとオブジェクトが期限切れ (削除) になるように設定します。アクセス ログ ファイルは 365 日後に削除されるように設定できます。ファイルの古いバージョンを削除するために使用できます (バージョン管理が有効な場合)。不完全なマルチパート アップロードの削除に使用できます。
- 特定のプレフィックスに対してルールを作成できます (例: s3://mybucket/mp3/*)
- 特定のオブジェクトのタグに対してルールを作成できます (例: 部門: 財務)
Amazon S3 - ライフサイクル ルール (シナリオ 1)
- EC2 上のアプリケーションは、プロフィール写真が Amazon S3 にアップロードされた後に画像のサムネイルを作成します。これらのサムネイルは簡単に再作成でき、保存する必要があるのは 60 日間だけです。この 60 日間はソース イメージをすぐに取得できる必要がありますが、その後は最大 6 時間待つことができます。これをどのようにデザインしますか?
- S3 ソース イメージは、60 日後に Glacier に移行するライフサイクル構成を備えた Standard にできます。
- S3 サムネイルは、60 日後に期限切れになる (削除する) ライフサイクル構成を使用して、ワンゾーン IA に配置できます。
Amazon S3 - ライフサイクル ルール (シナリオ 2)
- 会社のルールでは、削除された S3 オブジェクトを 30 日間はすぐに復元できるようにする必要があると規定されていますが、これはまれに発生する可能性があります。この期間を過ぎると、最大 365 日間、削除されたオブジェクトは 48 時間以内に回復できるようになります。
- オブジェクトのバージョンを取得するには、S3 バージョニングを有効にします。これにより、「削除されたオブジェクト」は実際には「削除マーカー」によって隠され、復元できるようになります。
- オブジェクトの「非現行バージョン」を標準 IA に移行します。
- その後、「非現行バージョン」を Glacier Deep Archive に移行します。
Amazon S3 分析 - ストレージクラス分析
- オブジェクトを適切なストレージ クラスにいつ移行するかを決定するのに役立ちます
- 標準および標準 IA の推奨事項は、ワンゾーン IA または Glacier では機能しません
- レポートは毎日更新されます
- データ分析が開始されるまでに 24 ～ 48 時間かかります
- ライフサイクル ルールをまとめる (または改善する) ための良い第一歩です。
S3 リクエスタが支払う
S3 - 依頼者が支払う
- 一般に、バケット所有者は、バケットに関連するすべての Amazon S3 ストレージおよびデータ転送コストを支払います。
- リクエスタ支払いバケットでは、バケット所有者ではなくリクエスタがリクエストのコストとバケットからのデータのダウンロードを支払います。
- 大規模なデータセットを他のアカウントと共有する場合に役立ちます
- リクエスタは AWS で認証されている必要があります (匿名にすることはできません)
S3 イベント通知
- S3:オブジェクト作成、S3:オブジェクト削除、S3:オブジェクト復元、S3:レプリケーション...
- オブジェクト名フィルタリング可能(*.jpg)
- 使用例: S3 にアップロードされた画像のサムネイルを生成する
- 必要なだけ「S3 イベント」を作成できます
- S3 イベント通知は通常数秒でイベントを配信しますが、場合によっては 1 分以上かかる場合があります
Amazon EventBridge を使用した S3 イベント通知
- JSON ルールによる高度なフィルタリング オプション (メタデータ、オブジェクト サイズ、名前など)
- 複数の宛先 - Step Functions、Kinesis Streams / Firehose など
- EventBridge の機能 - アーカイブ、イベントの再生、信頼性の高い配信
S3 パフォーマンス
S3 - ベースライン パフォーマンス
- Amazon S3 は高いリクエストレートに自動的にスケールし、レイテンシー 100 ～ 200 ミリ秒
- アプリケーションは、バケット内のプレフィックスごとに 1 秒あたり少なくとも 3,500 の PUT/COPY/POST/DELETE リクエストと 5,500 の GET/HEAD リクエストを達成できます。
- バケット内のプレフィックスの数に制限はありません
- 例 (オブジェクト パス => プレフィックス): bucket/folder1/sub1/file => /folder1/sub1/bucket/folder1/sub2/file => /folder1/sub2/bucket/1/file => /1/bucket/2 /ファイル => /2/
- 読み取りを 4 つのプレフィックスすべてに均等に分散すると、GET と HEAD で 1 秒あたり 22,000 リクエストを達成できます。
S3 パフォーマンス
- マルチパートアップロード: 100MB を超えるファイルの場合に推奨、5GB を超えるファイルの場合に使用する必要があります。アップロードの並列化に役立ちます (転送速度が向上します)。
- S3 転送アクセラレーション ファイルを AWS エッジの場所に転送することで転送速度が向上し、ターゲット リージョンの S3 バケットにデータが転送されます。マルチパート アップロードと互換性があります。
S3 パフォーマンス - S3 バイト範囲フェッチ
- 特定のバイト範囲をリクエストして GET を並列化する
- 障害発生時の回復力の向上
ダウンロードを高速化するために使用できます
部分的なデータ (ファイルの先頭など) のみを取得するために使用できます。
S3 セレクト & グレイシャー セレクト
S3 セレクト & グレイシャー セレクト
- サーバー側のフィルタリングを実行することで、SQL を使用して取得するデータを削減します。
- 行と列でフィルタリング可能 (単純な SQL ステートメント)
- ネットワーク転送の削減、クライアント側の CPU コストの削減
S3 バッチ操作
S3 バッチ操作
- 単一のリクエストで既存の S3 オブジェクトに対して一括操作を実行します。例: オブジェクトのメタデータとプロパティを変更する S3 バケット間でオブジェクトをコピーする 暗号化されていないオブジェクトを暗号化する ACL、タグを変更する S3 Glacier からオブジェクトを復元する Lambda 関数を呼び出して各オブジェクトに対してカスタム アクションを実行する
- ジョブは、オブジェクトのリスト、実行するアクション、およびオプションのパラメータで構成されます。
- S3 バッチ操作は、再試行の管理、進行状況の追跡、完了通知の送信、レポートの生成などを行います。
- S3 インベントリを使用してオブジェクト リストを取得し、S3 Select を使用してオブジェクトをフィルタリングできます。
