E資格勉強プロセス

@Mさん のブログに触発され、
E資格のシラバス全てとwebを使って
勉強をしながら公開(^^)

１．「なるほど」と思ったリンクのみ
２．YouTubeはリンク先の時間を調整済み
３．太字は次の⇒リンクで理解可能

コピーなどご自由にどうぞ

下線ありリンクのクリック後ももどれるよう
PCでの閲覧をおすすめいたします
「Ctrl＋F」で項目をさがせます

１． 応用数学
(１)確率・統計

①一般的な確率分布
ベルヌーイ分布
多項分布
ガウス分布（＝正規分布）
 
 ②ベイズ則 

(２)情報理論
①情報理論
情報量
⇒「情報理論」入門

２．機械学習
(１)機械学習の基礎

①学習アルゴリズム
教師あり学習
教師なし学習
⇒E資格の機械学習の基礎について
半教師あり学習
転移学習

②機械学習課題
能力
過剰適合
過少適合
次元の呪い

③ ハイパーパラメータ

④検証集合
学習データ（＝訓練データ）、検証データ、テストデータ
ホールドアウト法
k-分割交差検証法
⇒「ホールドアウト法」と「交差検証法」の違い

⑤最尤推定
条件付き対数尤度
平均二乗誤差

(２)実用的な方法論

①性能指標

②ハイパーパラメータの選択
手動でのハイパーパラメータ調節
グリッドサーチ
ランダムサーチ
⇒パラメータチューニングについて
モデルに基づくハイパーパラメータの最適化

(３)強化学習
①方策勾配法
②価値反復法

３． 深層学習
(１) 順伝播型ニューラルネットワーク

①全結合型ニューラルネットワーク
⇒全結合層とは

②損失関数
最尤推定による条件付きの分布の学習

③活性化関数
シグモイド関数
Softmax関数
ReLU
Leaky ReLU

(２)深層モデルのための正則化
①パラメータノルムペナルティー
L2パラメータ正則化
L1正則化
⇒正則化についてまとめ

②データ集合の拡張
Random Flip・Erase・Crop・Brightness・Rotate, MixUp
⇒NumPyでの画像のData Augmentationまとめ

③ノイズに対する頑健性
出力目標へのノイズ注入

④マルチタスク学習
⑤早期終了
⑥スパース表現
⑦バギングやその他のアンサンブル手法
⑧ドロップアウト

(３)深層モデルのための最適化
①学習と純粋な最適化の差異
バッチアルゴリズムとミニバッチアルゴリズム

②基本的なアルゴリズム
確率的勾配降下法
モメンタム
⇒深層モデルの最適化について

③パラメータの初期化戦略

④適応的な学習率を持つアルゴリズム
Adagrad
RMSrop
Adam
⇒最適化アルゴリズムを比較してみた

↓の前提知識は正規化
⑤最適化戦略とメタアルゴリズム
バッチ正規化
Layer正規化
Instance正規化
教師あり事前学習
⇒最適化戦略とメタアルゴリズム

(４)畳み込みネットワーク
①畳み込み処理
②プーリング

(５)回帰結合型ニューラルネットワークと再帰的ネットワーク

どちらも日本語はRNN
区分：RNNの概要を理解しよう

①回帰結合型のニューラルネットワーク
②双方向RNN
③Encoder-Decoder
③Sequence-to-Sequence
④長期依存性の課題
⑤ゲート付きRNN
LSTM
GRU
⑥長期依存性の最適化
勾配のクリッピング
⑦Attention

(６)生成モデル
①識別モデルと生成モデル

②オートエンコーダ
VAE
VQ-VAE

③GAN
DCGAN
Conditional GAN

(７)深層強化学習
①深層強化学習のモデル
AlphaGo
A3C

(８)グラフニューラルネットワーク
① グラフ畳み込み

(９)深層学習の適用方法
 
①画像認識
GoogLeNet
ResNet
WideResNet
DenseNet
EfficientNet

②画像の局在化・検知・セグメンテーション
Faster R-CNN
YOLO
SSD
MASK R-CNN
FCOS

③自然言語処理（NLP）
WordEnbedding
Transformer
BERT
GPT-n
⇒高性能言語モデル「GPT-3」

④音声処理
WaveNet
サンプリング（リンク先の標本化）
短時間フーリエ変換
メル尺度
CTC

⑤スタイル変換
pix2pix

(10)距離学習(Metric Learning)
①2サンプルによる比較
SiameseNet
②3サンプルによる比較
TripletLoss
⇒Triplet Lossを徹底解説

(11)メタ学習(Meta Learining)
 ①初期値の獲得
MAML
⇒メタ学習入門

(12)深層学習の説明性
 
①判断根拠の可視化
Grad-CAM

②モデルの近似
LIME
SHAP

４．開発・運用環境

(１)ミドルウェア
①深層学習ライブラリ
 
(２)エッジコンピューティング

①軽量なモデル
MobileNet
⇒画像分類の代表的なアーキテクチャ（6つめ）

②モデルの軽量化
プルーニング
蒸留
量子化
⇒ディープラーニングを軽量化する「モデル圧縮」３手法

(３)分散処理
①モデル並列
②データ並列

(4)アクセラレータ
①デバイスによる高速化
GPU

(5)環境構築
コンテナ型仮想化
Docker

元になっているシラバス