digdag + embulk + pythonの環境構築を行う方法です。 環境 digdagとembulk 構築手順 OpenJDK digdag embulk python digdag + embulk + pythonのメリット 環境 VirtualBox：5.2.22 Ubuntu：18.4.1 digdagとembulk digdagはワークフローエンジン。シェルやpyt…

Go言語では関数にも識別子名を付けることができ、インターフェースと組み合わせて柔軟に振る舞いをコントロールすることができることを確認しました。Goプログラミング実践入門を読んでいたところ、 HandlerFuncとHandleFuncを混同しないようにしてください…

ScalaでAWS Lambda用のjarファイルを作りました。ScalaでLambdaのようなPaaSを利用したいと思い、jarファイルを作ることにしました。今回は@yoshiyoshifujiiさんのqiita記事（Amazon LambdaでScala - Qiita）を参考に、Lambdaで動かすことを目標にしています…

GKEのクイックスタートをやってみた記録と、派生してjupyter notebookのイメージを立てた記録。これからはkubernetesの時代だ！と思ってはや数か月...。ぜんぜん自分で手を動かす気配がないので、一念発起して立ててみた。 GKEのクイックスタート 今回はGCP…

AWSでEFSを使う用事があったので、Linuxでの設定方法を調査した。 Amazon Elastic File Systemとは Linux向けのファイルシステム。 特徴は以下のような感じ、 ・EC2およびオンプレでマウント可能 ・フルマネージド ・スケーラブル ・汎用/最大 I/O の二つの…