最近、Seabornでプロットをすることが増えたのですが、デフォルトだと色味がパッとしなかったり、サブプロットしたら全部同じ色になったりして困ったので、色を変える方法を調べてみました。 サマリ seaborn.scatterplotのpaletteにパレット名を指定すること…

StandardScalerのfit_transform()を乱用していたらハマってしまったのでメモです。 概要 データを標準化する際に、sklearn.preprocessing.StandardScalerを使うことが多いと思います。 scikit-learn.orgこのモジュールにはfit_transformという、データへのfi…

データを見る際にpandasでよく使う操作を、しょっちゅう忘れるのでまとめておきます。虎の巻自体は以下にあります。 github.com 準備 今回はirisデータを使います。 これはsklearnに入っています。 from sklearn.datasets import load_iris iris = load_iris…

torch.utils.dataで、画像データのDataLoaderを作成する方法をまとめました。 CIFAR-10データセットを例として使用しています。 CIFAR-10データセット 約8000万枚の画像がある80 Million Tiny Imagesから約6万枚の画像を抽出してラベル付けした有名なデータ…

PyTorchで画像処理を始めたので、torchvisions.transformsを使った前処理について調べました。pytorch.org torchvisions.transformsとは Composeを使うことでチェーンさせた前処理が簡潔にかけるようになります。また、Functionalモジュールを使うことで、関…

最近、機械学習のジョブを回すのにGoogle Colabを利用しているのですが、日によってGPUメモリ周りの挙動が異なるので調べて見ました。 Google ColabではGPUが無料で割り当ててもらえます。ただ、日によってGPUメモリの割り当てが異なるような挙動をします。 …

はじめに 全結合層のみのVariationalオートエンコーダー ネットワーク 結果 畳み込み層ありのVariationalオートエンコーダー ネットワーク 結果 つまづいたところ 損失関数 分散の推定 感想 参考 はじめに tensorflow2.0でVariationalオートエンコーダーを作…

tfds.loadで、AttributeErrorが出たので対処法のメモです。 環境 tensorflow 2.0.0-rc1 tensorflow-datasets-1.0.1 起こったこと いい加減MNISTをやめてほかのデータセットを使おうと思い、fashion_mnistをロードしようとしたところ、エラーが発生しました。…

tensorflow2.0で一番シンプルなオートエンコーダーを作りました。 SageMakerとかに自作のモデルを乗せて動かしてみたいのですが、まだ作れるモデルが少ないので、基本的なところから書いていくことにしました。コードは以下にあります。 github.com ネットワ…

しばらく前にTensorFlow 2.0を落として具合を見てみたので、メモ。 以前のバージョンとはAPIが結構違うかったので、かなり困った印象。 Optimizerなんかがどこにあるかさっぱり分からない...。CNNなんかはサンプルもなかったので書き方がよく分からなかった…

だいぶ前ですが、lassoに関心があり、書籍を参考に実装しました。 参考にした書籍は以下です。スパース推定法による統計モデリング (統計学One Point)作者: 川野秀一,松井秀俊,廣瀬慧出版社/メーカー: 共立出版発売日: 2018/03/08メディア: 単行本この商品を…