2024年11月、AWSはAWS Lambdaのイベントソースマッピング（ESM）に対応する新しいAmazon CloudWatchメトリクスを発表しました。このアップデートにより、Lambdaが処理するイベントの各段階を詳細に監視することが可能となり、リアルタイムでの問題検出と迅速な対応が実現します。
新機能の概要
AWS Lambdaのイベントソースマッピング（ESM）は、Amazon SQS、Kinesis、DynamoDBなどのイベントソースからデータを自動的に取り込み、Lambda関数で処理する仕組みです。今回のアップデートでは、CloudWatchメトリクスが拡張され、以下の新しいメトリクスが追加されました：
新しいCloudWatchメトリクス
- PolledEventCount：
- ESMが読み取ったイベントの総数を示します。
- InvokedEventCount：
- Lambda関数で処理されたイベントの数。
- FilteredOutEventCount：
- フィルタリングによって処理対象外となったイベントの数。
- FailedInvokeEventCount：
- Lambda関数の呼び出しが失敗したイベントの数。
- DeletedEventCount：
- 正常に処理され、削除されたイベントの数（例：SQSから削除されたメッセージ）。
- DroppedEventCount：
- 再試行回数の超過や有効期限切れでドロップされたイベントの数。
- OnFailureDestinationDeliveredEventCount：
- 失敗時の送信先に正常に送信されたイベントの数。
これらのメトリクスを活用することで、イベント処理の透明性が向上し、異常の早期検出とトラブルシューティングが容易になります。
想定される利用用途
1. リアルタイムデータ分析
Kinesisストリームを使用したリアルタイムデータ処理で、データの取り込みから処理までの各ステップを監視し、処理の遅延や失敗を迅速に特定。
2. メッセージングシステムの健全性維持
SQSを利用する分散アーキテクチャで、メッセージの処理成功率や失敗率を監視し、システム全体の健全性を確保。
3. データ同期プロセスの効率化
DynamoDBストリームを使用したデータ同期で、フィルタリングによって除外されたイベントや処理に失敗したイベントを分析し、効率化を図る。
4. 障害時のトラブルシューティング
失敗したイベントを再送信先に送る設定（OnFailureDestination）を監視し、障害発生時の処理状況を把握。
メリット
1. 詳細な可視性
新たに追加されたメトリクスにより、イベント処理の各ステップを細かく追跡できるため、問題の早期発見が可能。
2. 運用効率の向上
手動でのデバッグ作業が減少し、自動化された監視とアラートにより効率的な運用が実現。
3. コスト管理
処理失敗や再試行によるリソース浪費を防ぎ、クラウドコストの最適化に寄与。
4. トラブルシューティングの迅速化
失敗したイベントやドロップされたイベントの原因を特定し、素早い解決が可能。
デメリット
1. 追加コスト
新しいメトリクスの収集により、CloudWatchの利用料金が増加する可能性。
2. 設定の複雑さ
メトリクスの有効化や監視設定にはAWS CLIやSDKの利用が必要で、一定の技術スキルが求められる。
3. データ量の増加
詳細なメトリクス収集によりCloudWatchデータが増加し、保存や管理が煩雑になる可能性。
利用方法
- CloudWatchメトリクスの確認
- AWS Management Consoleで、Lambda関数の関連メトリクスを確認。
- アラートの設定
- CloudWatchアラームを設定して、異常を即座に通知。
- 分析と改善
- メトリクスを活用して、処理失敗やドロップイベントの原因を特定し、システムを改善。
詳細な利用方法は、AWS Lambdaの公式ドキュメントをご覧ください。
まとめ
AWS Lambdaのイベントソースマッピングに対応する新しいCloudWatchメトリクスの追加により、イベント処理の透明性と監視能力が大幅に向上しました。これにより、リアルタイムデータ処理やメッセージングシステムの運用効率が向上し、障害時の迅速な対応が可能になります。ただし、設定や運用に伴うコスト増加にも注意が必要です。
詳細は、公式発表ページをご覧ください。
