@もりさん のブログに触発され、
E資格のシラバス全てとwebを使って
勉強をしながら公開(^^)

1.「なるほど」と思ったリンクのみ
2.YouTubeはリンク先の時間を調整済み
3.太字は次の⇒リンクで理解可能

コピーなどご自由にどうぞ

下線ありリンクのクリック後ももどれるよう
PCでの閲覧をおすすめいたします
「Ctrl+F」で項目をさがせます

1. 応用数学
(1)確率・統計

①一般的な確率分布
ベルヌーイ分布
多項分布
ガウス分布(=正規分布)
 
 ②ベイズ則 

(2)情報理論
情報理論
情報量
「情報理論」入門

2.機械学習
(1)機械学習の基礎

①学習アルゴリズム
教師あり学習
教師なし学習

E資格の機械学習の基礎について
半教師あり学習
転移学習

②機械学習課題
能力
過剰適合
過少適合
次元の呪い

ハイパーパラメータ

④検証集合
学習データ(=訓練データ)、検証データ、テストデータ
ホールドアウト法
k-分割交差検証法

「ホールドアウト法」と「交差検証法」の違い

⑤最尤推定
条件付き対数尤度
平均二乗誤差

(2)実用的な方法論

①性能指標

②ハイパーパラメータの選択
手動でのハイパーパラメータ調節
グリッドサーチ
ランダムサーチ
パラメータチューニングについて
モデルに基づくハイパーパラメータの最適化

(3)強化学習
①方策勾配法
②価値反復法

3. 深層学習
(1) 順伝播型ニューラルネットワーク

全結合型ニューラルネットワーク
全結合層とは

損失関数
最尤推定による条件付きの分布の学習

活性化関数
シグモイド関数
Softmax関数
ReLU
Leaky ReLU

(2)深層モデルのための正則化
パラメータノルムペナルティー
L2パラメータ正則化
L1正則化
正則化についてまとめ

データ集合の拡張
Random Flip・EraseCrop・Brightness・Rotate, MixUp
NumPyでの画像のData Augmentationまとめ

③ノイズに対する頑健性
出力目標へのノイズ注入

マルチタスク学習
早期終了
スパース表現
バギングやその他のアンサンブル手法
ドロップアウト

(3)深層モデルのための最適化
①学習と純粋な最適化の差異
バッチアルゴリズムとミニバッチアルゴリズム

基本的なアルゴリズム
確率的勾配降下法
モメンタム

深層モデルの最適化について

③パラメータの初期化戦略

適応的な学習率を持つアルゴリズム
Adagrad
RMSrop
Adam

最適化アルゴリズムを比較してみた

↓の前提知識は正規化
最適化戦略とメタアルゴリズム
バッチ正規化
Layer正規化
Instance正規化
教師あり事前学習

最適化戦略とメタアルゴリズム

(4)畳み込みネットワーク
畳み込み処理
プーリング

(5)回帰結合型ニューラルネットワークと再帰的ネットワーク

どちらも日本語はRNN
区分:RNNの概要を理解しよう

①回帰結合型のニューラルネットワーク
双方向RNN
Encoder-Decoder
③Sequence-to-Sequence
④長期依存性の課題
⑤ゲート付きRNN
LSTM
GRU
⑥長期依存性の最適化
勾配のクリッピング
Attention

(6)生成モデル
①識別モデルと生成モデル

オートエンコーダ
VAE
VQ-VAE

GAN
DCGAN
Conditional GAN

(7)深層強化学習
①深層強化学習のモデル
AlphaGo
A3C

(8)グラフニューラルネットワーク
グラフ畳み込み

(9)深層学習の適用方法
 
画像認識
GoogLeNet
ResNet
WideResNet
DenseNet
EfficientNet

画像の局在化・検知・セグメンテーション
Faster R-CNN
YOLO
SSD
MASK R-CNN
FCOS

自然言語処理(NLP)
WordEnbedding
Transformer
BERT
GPT-n
高性能言語モデル「GPT-3」

④音声処理
WaveNet
サンプリング(リンク先の標本化)
短時間フーリエ変換
メル尺度
CTC

スタイル変換
pix2pix

(10)距離学習(Metric Learning)
2サンプルによる比較
SiameseNet

3サンプルによる比較
TripletLoss
Triplet Lossを徹底解説

(11)メタ学習(Meta Learining)
 ①初期値の獲得
MAML
メタ学習入門

(12)深層学習の説明性
 
①判断根拠の可視化
Grad-CAM

②モデルの近似
LIME
SHAP

4.開発・運用環境

(1)ミドルウェア
深層学習ライブラリ
 
(2)エッジコンピューティング

①軽量なモデル
MobileNet
画像分類の代表的なアーキテクチャ(6つめ)

モデルの軽量化
プルーニング
蒸留
量子化

ディープラーニングを軽量化する「モデル圧縮」3手法

(3)分散処理
①モデル並列
②データ並列

(4)アクセラレータ
①デバイスによる高速化
GPU

(5)環境構築
コンテナ型仮想化
Docker

元になっているシラバス


【将来E資格シラバスに載りそうなテーマ】

ここまでご覧になったら、シラバスの内容は
AI開発の「歴史」「基礎」だとわかるでしょう
(オートエンコーダなど、今はほぼ不使用)

将来の先取りや、「今」活かしていただくため
シラバスの先のテーマをお見せします

双方向LSTM
Group-CAM 

一緒に誰もが楽しい未来をつくりましょう!