Code三銃士のうち、AWS CodeCommitに入門した。 モチベーション 認定Developerアソシエイトの参考書を読んでいるとCodeCommitの設定方法が出てきたが、触ったことがないのでなかなか覚えられなかった。触ったことがないものは仕方ないので、実際に触ってみる…

Athenaに投げるSQLを別ファイルにしておきたい。 こうしておくと、管理もしやすくなり、SQLFluffでCIしたりできるようになる。 ディレクトリ構造 同じ階層にathena.pyという名前でpythonスニペットと、sample.sqlという名前のDMLを置いておくとする。 C:. at…

久しぶりにdigdagを使うことになったら、完全に全てを忘れていたので、pythonとの連携方法を再確認した。以下のdigdagドキュメントのLanguage API - Pythonの挙動を抜粋して確認した。 Language API - Python — Digdag 0.10.0 documentation ディレクトリ構…

入れ子のjsonになっていると見せかけて、json文字列が入っている場合に、どのようにすればAthenaでデータを取り出すことができるか確認した。 データを見てみる 以下のようなデータを考える。 {"key1": 1, "key2": "{\"key21\":2, \"key22\":3}"} {"key1": 4…

S3イベント→SNS→SQSの構成を試した。 SQSの先にはLambdaが繋がっているようなイメージ。 意外と設定をズバリ書いてくれいてる文献がなかったのでまとめる。 設定手順 S3バケットの作成 イベントを起こすS3バケットがなければ、バケットを作成する。 SNSの設…

PostgreSQLに興味がでてきたので、PostgreSQL徹底入門（第4版）を読んでいる。PostgreSQL徹底入門 第4版 インストールから機能・仕組み、アプリ作り、管理・運用まで作者:近藤 雄太,正野 裕大,坂井 潔,鳥越 淳,笠原 辰仁発売日: 2019/10/04メディア: 単行本…

tensorflowのドキュメントを見てたら、timeitというモジュールを使っていたので、これなんやねんと思って調べた。docs.python.orgPythonからtimeitをimportして使う場合は、式を文字列として渡すか、呼び出し可能な式あれば時間を計測することができる。 例…