GitHubじゃ!Pythonじゃ!

GitHubからPython関係の優良リポジトリを探したかったのじゃー、でも英語は出来ないから日本語で読むのじゃー、英語社会世知辛いのじゃー

quark0

darts – 畳み込みネットワークと再帰ネットワークの アーキテクチャ検索

投稿日:

畳み込みネットワークと再帰ネットワークの 識別可能な アーキテクチャ検索 https://arxiv.org/abs/1806.09055

識別可能なアーキテクチャの検索

紙に付随するコード

DARTS:微分可能アーキテクチャ検索
Hanxiao Liu、Karen Simonyan、Yiming Yang。
arXiv:1806.09055

このアルゴリズムは、アーキテクチャ空間における連続的な緩和および勾配降下に基づいている。 画像分類(CIFAR-10およびImageNet上)および言語モデリング用の繰り返しアーキテクチャ(Penn TreebankおよびWikiText-2上)のための高性能畳み込みアーキテクチャを効率的に設計することができます。 1つのGPUだけが必要です。

要件

Python >= 3.5.5, PyTorch == 0.3.1, torchvision == 0.2.0

注:PyTorch 0.4は現時点ではサポートされておらず、OOMにつながります。

データセット

PTBとWT2を取得するための手順はここで見つけることができます torcvisionでCIFAR-10を自動的にダウンロードすることができますが、こちらの手順に従ってImageNetを手動でダウンロードする必要があります(できればSSDにダウンロードする必要があります)。

建築の検索

アーキテクチャ検索(2次近似を使用)を実行するには、

cd cnn && python train_search.py --unrolled     # for conv cells on CIFAR-10
cd rnn && python train_search.py --unrolled     # for recurrent cells on PTB

時間の経過とともに最も畳み込みが起こりやすい細胞と再発する細胞のスナップショット:

アーキテクチャ評価

最適なセルを使用して結果を再現するには、

cd cnn && python train.py --auxiliary --cutout            # CIFAR-10
cd rnn && python train.py                                 # PTB
cd rnn && python train.py --data ../data/wikitext-2 \     # WT2
            --dropouth 0.15 --emsize 700 --nhidlast 700 --nhid 700 --wdecay 5e-7
cd cnn && python train_imagenet.py --auxiliary            # ImageNet

カスタマイズされたアーキテクチャはgenotypes.py指定された--archフラグでサポートされています。

引用

@article{liu2018darts,
  title={DARTS: Differentiable Architecture Search},
  author={Liu, Hanxiao and Simonyan, Karen and Yang, Yiming},
  journal={arXiv preprint arXiv:1806.09055},
  year={2018}
}







-quark0
-, , , , , , , ,

執筆者: