よこぼと申します。
超初心者です🔰

同じような初心者・初学者の方にも、
育成や普及活動を進める立場の方にも、
参考になるような記事をあげていけたらと思います。
よろしくお願いします🙇

=======================

最初は関係ない話をします。
(というか前半書きたいことを書いて後半はおまけです)

CDLEってAIのことDLのことを勉強する人にとって、
モチベーションを与える場所だと思うんです。

みなさん素晴らしい記事を書いてくださっていて、
読むだけでとても勉強になります。

そんな中、僕がこのような記事を書こうと思ったのは
自分にできるやり方でCDLEに貢献したいと思ったからです。


・もしかしたら同じような初心者がいるけどなかなか発言できないだけかもしれない
・育成に悩んでいる指導者の方がいるかもしれない
・最近勉強することの楽しさを忘れているかも・・・?という方がいるかもしれない


そんなみなさんが、
「こんな低レベル(笑)でブログ書いていいんだ!自分も頑張ろう」
「なるほど初心者はこんなところにひっかかるのかメモしよう」
「こいつ初心者のくせに頑張ってるな、楽しそうだな、俺も頑張ろう」
みたいに思ってくれたら、大大大成功だと思います。


・・・まあ本当の目的はブログを書くことで自分のモチベーションを維持することですけど(・ω<)


というわけで長々と書きましたが、
定期的に投稿していこうと思いますので、みなさま温かい目で見守っていただけると嬉しいです!!
こんな学び方がいいよ!みたいなコメントとかくださると泣いて喜びます😿

=======================
後半戦

まあここからはおまけみたいなものです。

最近もっぱらこの「Python3年生」で勉強しております。
とてもわかりやすい

https://www.shoeisha.co.jp/book/detail/9784798174983
Python3年生 ディープラーニングのしくみ 体験してわかる!会話でまなべる! | 翔泳社
ヤギ博士・フタバちゃんと一緒にディープラーニングのしくみを学ぼう!【ディープラーニングをいちから学んでみよう!】「ディープラーニングって何?」「ディープラーニングってどのようなことをするの?」という方に向けて「ディープラーニング」のしくみについていちからやさしく解説します。【Python3年生について】「Python1年生」「Python2年生」を読み終えた方を対象とした入門書です。(※「Python3年生」から初めて学ぶ方でもわかるように工夫しています)【本書のポイント】ヤギ博士&フタバちゃんと一緒に、ディープラーニングのしくみについて、サンプルを動かしながら、楽しく学ぶことができます。【読者対象】ディープラーニングを知りたい初心者【目次】第1章 ディープラーニングってなに?第2章 パーセプトロンを作ってみよう第3章 TensorFlow Playgroundで学習の動きを見よう第4章 ニューラルネットワークでいろいろ作ろう第5章 CNNで画像を認識しよう第6章 もっといろいろ分類してみよう【著者プロフィール】森 巧尚(もり・よしなお)アプリの開発や、技術書や電子工作マガジンなどでの執筆活動。関西学院大学非常勤講師、関西学院高等部非常勤講師、成安造形大学非常勤講師、大阪芸術大学非常勤講師、プログラミングスクールコプリ講師など、プログラミングに関する幅広い活動を行っている。近著に『Python1年生 第2版』、『Python2年生 デスクトップアプリ開発のしくみ』、『Python3年生 機械学習のしくみ』、『Python2年生 データ分析のしくみ』、『Python2年生 スクレイピングのしくみ』、『Java1年生』、『動かして学ぶ! Vue.js開発入門』(いずれも翔泳社)、『楽しく学ぶ アルゴリズムとプログラミングの図鑑』(マイナビ出版)などがある。
www.shoeisha.co.jp


G検定の教科書でさっぱりわからなかったことが、
ちょっとわかってきた気がする。

やっぱり実際に手を動かしてみないとわからないですよね。


Google Colabを使用して、
XORやってみたりMNISTの手書き数字を読んでみたりしました。


先日やったのは、CNNでCIFAR-10(画像集)の学習をしてみよう、というもの。


まずこんな感じのモデルをつくりました。
畳み込み層(Conv2D)があって、MaxPoolingがあって。。。。的なやつ。
image.png 69.13 KB#実際には本で紹介されていたモデルから3か所自分で抜いて実験してみたやつです


訓練・テストのプロット
    ⇒なるほど、誤差が学習回数増やしても下がらなくなっている
    ⇒過学習というやつですね!
image.png 44.27 KBこれが!!!あの有名な過学習(オーバーフィッティング)か!!
とちょっと感動しました。

#関係ないけどオーバーフィッティングという響きがなんか好きです


image.png 127.7 KBいや、でも結構がんばってるんですよね。
ネコ・・・・(39%)    とか自信なさげでかわいい。イヌだったね。


じゃあ過学習を抑えてみよう、ということでこいつを入れます。

ゆけ!!!!ドロップアウト!!!!!
image.png 96.86 KB

さあ・・・結果は??
おおー、誤差が学習回数に応じて下がっていますね!
これがドロップアウトの力か・・・!!!

image.png 34.7 KB

image.png 125.95 KBでも結果としては正解率下がっているんですよね。。。
カエル(77%)!!!とか言ってるし。。。(船だよ、なんで自信満々なんだよ)

と思ったら、これがドロップアウトの副作用「訓練精度の低下」ってやつなんですね。

なるほど、やっぱり自分でやってみるっていっぱい学べる!!


以上、今回のテーマ「過学習とドロップアウト」でしたー。

お読みいただきありがとうございました🙇‍♂️
また次回!



#どうでもいい話ですが、トップ画像はVGG16というモデルにかの有名な画像を判定してもらった結果です。カニって学習データになかったんかな。。。