CloudWatch Logsのサブスクリプションフィルタの上限数問題と対応策

記事執筆現在、CloudWatch Logsのサブスクリプションフィルタ数には上限がありますが、どこに書いてあるか分かりにくかったのでメモです。

サブスクリプションフィルタについて

CloudWatch Logsに流れ込んでくるログデータを、フィルタリングして、リアルタイムに別のAWSサービスに転送することができる機能です。ロググループ単位で作成することができ、すごく便利な機能なのですが、一度にロググループにつけることができる数に上限があります。

1 ロググループあたり 1つまで

CloudWatch Logsの制限については、公式ドキュメントの以下に記載があります。
https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/logs/cloudwatch_limits_cwl.html

1 ロググループあたり 1。このクォータは変更できません。

まじか、もっとつけさせてくれ。。。

対応策

サブスクリプションフィルタの転送先をKinesis streamにして、複数コンシューマで読み取ることができます。
docs.aws.amazon.com

f:id:tasotasoso:20200426072942p:plain:w500 — kinesis streamをはさむ構成

データ部分は圧縮される

サブスクリプションフィルタで送信されるデータは、データ容量削減のため圧縮されます。Kinesis streamに流す場合、Kinesis レコードの Data 属性が、Base64 でエンコードされ、かつ、gzip 形式で圧縮された状態になっています。そのため、ログを使う場合は、Base64デコードして、さらに、gzip解凍する必要があります。