2019-01-01から1年間の記事一覧
今年も気づいたら大晦日になってたので、今年頑張ったことと、来年やりたいことの雑談を書きました。 今年頑張ったこと 職場に限らず色々挑戦してみよう、というのを目標に、成果もそこそこ出せたのでよかったです。 LTに挑戦した GoとAWSを絡めて、DesignOn…
Python3コンテナイメージを作ったことがなかったので調べ他ので、メモです。 Python3コンテナイメージ 初歩的なことなのですが、そう言えばPython3コンテナイメージを作ったことがなかったので、作り方を調べて見ました。 公式のDockeイメージがあり、非常に…
最近、機械学習のジョブを回すのにGoogle Colabを利用しているのですが、日によってGPUメモリ周りの挙動が異なるので調べて見ました。 Google ColabではGPUが無料で割り当ててもらえます。ただ、日によってGPUメモリの割り当てが異なるような挙動をします。 …
C#でAWS Lambdaの開発を始めるのにハマったことまとめです。 (2019年11月時点の記録です) はじめに .NETでAWS Lambda用のコードを開発する用事があったのですが、C#は右も左も分からない所からのスタートで、とにかくハマりまくりました！ 普段からC#を使わ…
CloudWatch エージェントから送るログのログストリーム名にインスタンスIDを入れる方法のメモです。 公式ドキュメントに記載があるのですが、結構深いところにあり、見つけるのに苦労しました。 公式の記載 CloudWatch エージェント設定ファイル: logs セク…
CloudWatch新座者のため、統合CloudWatch エージェントとCloudWatch Logs エージェントの違いがまったく分からずハマりかけたのでメモです。 統合CloudWatch エージェントとCloudWatch Logs エージェント どっちもCloudWatch Logsにログを送信するためのエー…
CloudWatch Agentの設定方法をまとめました。 統合 CloudWatch エージェントとは CloudWatch エージェントで、いわゆるカスタムメトリクスの収集とログの収集が可能です。 統合 CloudWatch エージェントを使用すると、以下のことを実行できます。 オペレーテ…
AWS ECR概要と利用手順をまとめました。 ECRとは Amazon Elastic Container Registry (ECR) は、完全マネージド型の Docker コンテナレジストリです。 Amazon ECR（Docker イメージの保存と取得）| AWS 料金 下図はAWS公式ページ（料金 - Amazon ECR | AWS）…
はじめに 全結合層のみのVariationalオートエンコーダー ネットワーク 結果 畳み込み層ありのVariationalオートエンコーダー ネットワーク 結果 つまづいたところ 損失関数 分散の推定 感想 参考 はじめに tensorflow2.0でVariationalオートエンコーダーを作…
tfds.loadで、AttributeErrorが出たので対処法のメモです。 環境 tensorflow 2.0.0-rc1 tensorflow-datasets-1.0.1 起こったこと いい加減MNISTをやめてほかのデータセットを使おうと思い、fashion_mnistをロードしようとしたところ、エラーが発生しました。…
tensorflow2.0で一番シンプルなオートエンコーダーを作りました。 SageMakerとかに自作のモデルを乗せて動かしてみたいのですが、まだ作れるモデルが少ないので、基本的なところから書いていくことにしました。コードは以下にあります。 github.com ネットワ…
9/25のDesignOne Go #5で登壇してきたので記録です。 なにをしたの AWSでGo言語を使う方法を紹介してきました。 あと、Go言語でDockerコンテナを作ってFargateで動かしてみたので、ざっくりですが説明しました。speakerdeck.com 感想 FaaSでGoがサポートされ…
遊舎工房さんでErgoDashを作ってきました。 github.com きっかけ 最近自宅でコードを書く頻度がだいぶ増えていたので、そろそろ良いキーボードを買うかと思い、いろいろ高級キーボードをみていました。 ただ、デザインや打鍵感がなかなか気に入る物がなく、…
Lambda無限ループでクラウド破産しないためにどうしたらいいか考えました。 Lambda無限ループ AWSのFaaSであるLambdaはサービスへのなんらかのアクションをトリガーにサーバーレスで稼働してくれます。 ...が、一定の条件を満たすと「無限ループ」になってし…
S3に格納されたファイルがあって、バッチ処理するためのdockerコンテナが作りたかったのでやって見ました。 言語はGolangです。 バッチ処理のやりたいこと 今回はS3に格納されたファイルをダウンロードしてきて、違う名前で再アップロードするバッチ処理です…
8/21のDesignOne Go #4で登壇してきたので記録です。 なにをしたの Go言語でgRPCサーバを作り、docker化しました。docker-composeでデプロイした後、通信してみました。 speakerdeck.comなお、コードはgithubにあります。 github.com今回はローカル環境でス…
docker-composeで新しいdockerコンテナが起動しない時の確認点です。 以前のdockerのプロセスがゾンビ化している可能性があるようです。 tl; dr LISTEN中のポートを調べ、ゾンビプロセスを特定する。ゾンビプロセスをkillする。 ただし、Dockerが落ちてしま…
キーと数値の組をPythonで集計する方法です。 簡単なことなのですが、忘れたころに直面して際現に微妙に時間が取られるので、メモしておきます。 集計したいデータ こんな感じのデータを集計したい。 data = [['aaa', 2], ['bbb', 1], ['aaa', 2], ['bbb', 1…
Kinesis Analyticsを使ってみたので、使い方をまとめる。センサーからIoTでデータを受信し、ニアリアルタイムで処理して、DynamoDBに格納するところまで。 システム概要 Kinesis Data Streamの作成 ストリーム名の決定 シャード数の決定 AWS IoTの設定 エッ…
digdagのスケジュール機能を簡易的に試した手順と結果のまとめです。 digdagのスケジューリング機能 分間隔から月間隔で、定義したワークフローを定期実行されることが可能です。（Scheduling workflow — Digdag 0.9.39 documentation） 今回は定期実行が確…
play frameworkのフォームのテキストボックスにデフォルトで出てくる”Required”などの文字を消す方法です。 Field constructors（Java Form Helpers - 2.7.x）を自分で定義することで解決できました。 日本語文献もみつけたので、最後にまとめます。 play fr…
digdag + embulk + pythonの環境構築を行う方法です。 環境 digdagとembulk 構築手順 OpenJDK digdag embulk python digdag + embulk + pythonのメリット 環境 VirtualBox：5.2.22 Ubuntu：18.4.1 digdagとembulk digdagはワークフローエンジン。シェルやpyt…
Go言語では関数にも識別子名を付けることができ、インターフェースと組み合わせて柔軟に振る舞いをコントロールすることができることを確認しました。Goプログラミング実践入門を読んでいたところ、 HandlerFuncとHandleFuncを混同しないようにしてください…
ScalaでAWS Lambda用のjarファイルを作りました。ScalaでLambdaのようなPaaSを利用したいと思い、jarファイルを作ることにしました。今回は@yoshiyoshifujiiさんのqiita記事（Amazon LambdaでScala - Qiita）を参考に、Lambdaで動かすことを目標にしています…
GKEのクイックスタートをやってみた記録と、派生してjupyter notebookのイメージを立てた記録。これからはkubernetesの時代だ！と思ってはや数か月...。ぜんぜん自分で手を動かす気配がないので、一念発起して立ててみた。 GKEのクイックスタート 今回はGCP…
AWSでEFSを使う用事があったので、Linuxでの設定方法を調査した。 Amazon Elastic File Systemとは Linux向けのファイルシステム。 特徴は以下のような感じ、 ・EC2およびオンプレでマウント可能 ・フルマネージド ・スケーラブル ・汎用/最大 I/O の二つの…
"bootstrapのTablesを、一定範囲からはみ出たらスクロールバーにする"のがやりたかったんですが、レベルが低すぎるのか、ニーズがニッチすぎるのか、あんまり情報がなかったので残しておく。 BootstrapのTablesを、 Bootstrapの表コンポーネント。bootstrap…
"Vue.js入門 基礎から実践アプリケーション開発まで"の3章を読んだので、前回作った無駄遣いチェックページを分解してコンポーネントにし、ページを作り直した。 前回の記事はこれ。 tasotasoso.hatenablog.com コンポーネントとテンプレートの作成 下図の様…
半年くらい前に買って積まれてた"Vue.js入門 基礎から実践アプリケーション開発まで"を読み出した。 2章まで終わったけど、学習コストが低いと言いつつもやっぱし覚えることが多くておなか一杯になったので、ここまでをまとめる。 今回は簡単な無駄遣いチェ…
半年ほど前に神保町の古本市でゲットした、コンパイラの本を読みました。コンパイラ (コンピューターサイエンス・ライブラリー)作者: 中田育男出版社/メーカー: 産業図書発売日: 1981/01/01メディア: 単行本 クリック: 4回この商品を含むブログ (4件) を見る…
