BIGLOBEトップBIGLOBEニュースBIGLOBE30周年記念サイト

コンピュータアーキテクチャの話 (372) ディープラーニングの入力の重みの値を決める「学習」

マイナビニュース2月17日(金)9時0分
画像:コンピュータアーキテクチャの話 (372) ディープラーニングの入力の重みの値を決める「学習」
写真を拡大
○ディープラーニングの学習

しかし、精度の高い推論を行うためには、各ニューロンの入力の重みを適切な値に設定する必要がある。現在はより複雑なネットが開発されており、AlexNetは規模が小さいのであるが、それでも、65万個のニューロンを使っており、約6000万個の入力の重みの値を決めなければならない。これを決めるのが「学習(Learning)」である。

1変数のニュートンラプソン法では、y=f(x)の微分係数のdy/dxを計算し、xを調整してy=0になるようにしていくが、CNN(Convolutional Neural Network)の場合は変数(重み)の数が膨大であるので、Stochastic Gradient Descent(SGD)というアルゴリズムが使われる。

それぞれの重みに対する認識結果の誤差(学習の場合は、ロスと呼ばれる)の偏微分を計算し、その勾配が大きい方に重みを調整していく。ニュートンラプソン法でもそうであるが、1回の修正でロスがゼロになるように修正するのは過激で、補正しすぎて振動するなどしてしまい、上手くいかないので、通常、SGDでは、計算された値の1/1000とか1/10000の補正を行なう。そして、収束に近づくとこの比率をさらに小さくしていく。

ネットワークにもよるが、この調整を数10回から100回程度繰り返して、重みの値を収束させる。ILSVRC 2012の場合、AlexNetでは120,000画像を使って学習している。NVIDIAのGTX580 GPU(単精度のピーク演算性能は約1.58TFlops)を2個使い、この学習には5〜6日を要している。

調整のループ回数を80回とすると、12,000画像の学習には、100万回の推論が必要となる。

○入力重みの変化でロスがどう変化するかを求める

出力層の各出力が、各入力の変化でどう変わるかは、で表わされる。出力Yがn個あり、入力Xがm個あると、この値はn×mの行列になる。各出力が、各入力の重みの変化でどう変わるかはで表わされ、これもn×mの行列になる。

しかし、Yは、Yi= W1*X1+W2*X2+W3*X3、…のような1次式であるので、はWjであるし、はXjであるので計算は簡単である。そして、ReLUが付いている場合も出力が正であればそのまま、負であればゼロにすればよいので、これも簡単である。

問題は、前段の重みや入力の変化に対する最終出力の変化をどうやって求めるかである。そのやり方であるが、出力層をn層目とすると、その前のn-1層の出力が、n-1層の各入力や入力の重みの変化でどう影響を受けるかを求める。このやり方は、出力層の場合と同じである。

そして、図9-3に示すように、出力層nの最終出力の入力変化に対する偏微分の行列に、n-1層の出力のn-1層の入力の変化に対する偏微分の行列を掛ければ、最終出力に対するn-1層の入力の変化に対する偏微分が得られる。

ただし、n-1層の出力は、n層の複数のニューロンに繋がっているので、その接続に従って、1つの出力を複製してやる必要がある。

そして、この作業を入力層に到達するまで繰り返せば、すべての入力と重みに対する偏微分が求まる。この作業をBackward Propagationと言う。

この説明から分かるように、大量の計算が必要となるのは、図9-3に示したパスに従って、各層の出力の入力と重みの変化に対する偏微分の行列を掛けて行くBackpropagationの作業である。つまり、学習も計算という点では、行列の乗算を繰り返すことになる。

そして、各層の入力の重みによる偏微分が求まると、この値に通常ηと書かれる小さな値を掛けて全ての入力の重みを更新する。ただし、ロスは非線形な関数であるので、一度でロスをゼロにすることはできず、この作業を繰り返してロスをゼロに近づける。

はてなブックマークに保存

最新トピックス

ITトピックス

芸能写真ニュース

旬なニュースを配信中 フォローしてね!

注目ワード

イチオシ情報

話題の投稿画像

恋愛&結婚

「コンピュータアーキテクチャの話 (372) ディープラーニングの入力の重みの値を決める「学習」」の関連ニュース

注目ニュース
本当に生命は存在する? 地球から移住は? NASAの新発見した7惑星を分析 GIZMODO2月23日(木)22時12分
いずれ人類が降り立つことに…?NASAが予告していた、太陽系外惑星に関する重大発表会見では、地球から39光年先に輝く赤色矮星「TRAPPI…[ 記事全文 ]
スマホで入れた予定が“紙”のカレンダーに Googleカレンダーと同期する「Magic Calendar」が近未来的 BIGLOBEニュース編集部2月23日(木)17時41分
外でスマートフォンに入れた予定が、家にある紙のカレンダーにも反映される。そんなアイデアを実現したプロダクト「MagicCalendar」が…[ 記事全文 ]
エンジンがかかると、シリンダー内ではこんな科学反応が起きている GIZMODO2月19日(日)17時2分
シリンダーの中を覗いてみた。エンジンが動く仕組みをわかっていても、中の様子を見たことがある人は少ないのでは?以前にも何度か紹介したSmar…[ 記事全文 ]
「ガチ仕様」ってほんと?「オタク度診断テスト」を試してみた インターネットコム2月23日(木)19時10分
オタク度診断テスト、だいたいなんでも合格。ある意味真理かも同人誌販売店「とらのあな」に関連した結婚相談所「とら婚」。[ 記事全文 ]
地球の最後はどうなる? Siriの予言が意外な内容 ITmedia Mobile2月23日(木)6時0分
iPhoneやiPadで使える音声アシスタントSiriにいろいろ質問してみる連載「懲りずにSiriに聞いてみた」から今回もお届けします。[ 記事全文 ]
アクセスランキング
1 本当に生命は存在する? 地球から移住は? NASAの新発見した7惑星を分析GIZMODO2月23日(木)22時12分
2 スマホで入れた予定が“紙”のカレンダーに Googleカレンダーと同期する「Magic Calendar」が近未来的BIGLOBEニュース編集部2月23日(木)17時41分
3 大丈夫? 空中で火を噴くドローン、中国で高圧送電線の周囲に飛来運用中GIZMODO2月23日(木)10時5分
4 次期iPhoneのカメラは3D空間認識できる?ITmedia NEWS2月22日(水)10時12分
5 Instagramで複数の写真、動画をまとめて投稿できるアップデート 料理レシピ紹介、旅行写真などに使えそうねとらぼ2月23日(木)11時42分
6 見知らぬ場所でスマホの充電のは危険!? - ジュースジャッキング攻撃とはマイナビニュース2月22日(水)10時0分
7 「ポケモンGO」でみんなが一番欲しい「金銀のレアポケモン」は“納得のアイツ”ITmedia Mobile2月23日(木)7時0分
8 「ガチ仕様」ってほんと?「オタク度診断テスト」を試してみたインターネットコム2月23日(木)19時10分
9 地球の最後はどうなる? Siriの予言が意外な内容ITmedia Mobile2月23日(木)6時0分
10 NASA、「太陽系外惑星に関する新発見」について発表へねとらぼ2月22日(水)14時56分

本サイトのニュースの見出しおよび記事内容、およびリンク先の記事内容は、各記事提供社からの情報に基づくものでビッグローブの見解を表すものではありません。

ビッグローブは、本サイトの記事を含む内容についてその正確性を含め一切保証するものではありません。本サイトのデータおよび記載内容のご利用は、全てお客様の責任において行ってください。

ビッグローブは、本サイトの記事を含む内容によってお客様やその他の第三者に生じた損害その他不利益については一切責任を負いません。

データ提供元:アニメキャラクター事典「キャラペディア