久しぶりにdigdagを使うことになったら、完全に全てを忘れていたので、pythonとの連携方法を再確認した。以下のdigdagドキュメントのLanguage API - Pythonの挙動を抜粋して確認した。 Language API - Python — Digdag 0.10.0 documentation ディレクトリ構…

PostgreSQLに興味がでてきたので、PostgreSQL徹底入門（第4版）を読んでいる。PostgreSQL徹底入門 第4版 インストールから機能・仕組み、アプリ作り、管理・運用まで作者:近藤 雄太,正野 裕大,坂井 潔,鳥越 淳,笠原 辰仁発売日: 2019/10/04メディア: 単行本…

Kinesis Analyticsを使ってみたので、使い方をまとめる。センサーからIoTでデータを受信し、ニアリアルタイムで処理して、DynamoDBに格納するところまで。 システム概要 Kinesis Data Streamの作成 ストリーム名の決定 シャード数の決定 AWS IoTの設定 エッ…

digdagのスケジュール機能を簡易的に試した手順と結果のまとめです。 digdagのスケジューリング機能 分間隔から月間隔で、定義したワークフローを定期実行されることが可能です。（Scheduling workflow — Digdag 0.9.39 documentation） 今回は定期実行が確…

digdag + embulk + pythonの環境構築を行う方法です。 環境 digdagとembulk 構築手順 OpenJDK digdag embulk python digdag + embulk + pythonのメリット 環境 VirtualBox：5.2.22 Ubuntu：18.4.1 digdagとembulk digdagはワークフローエンジン。シェルやpyt…

ログ収集でfluentdを使いたかったので、試しにubuntu（ローカル）→ubuntu（ローカル）でやってみた。 fluentdとは ログを集められるやつ。 www.fluentd.org嬉しかった点は、 ・ログファイルの更新を、configの設定だけですぐに監視できる。 ・送信先とプロト…