BIGLOBEトップBIGLOBEニュース

コンピュータアーキテクチャの話 (372) ディープラーニングの入力の重みの値を決める「学習」

マイナビニュース2月17日(金)9時0分
画像:コンピュータアーキテクチャの話 (372) ディープラーニングの入力の重みの値を決める「学習」
写真を拡大
○ディープラーニングの学習

しかし、精度の高い推論を行うためには、各ニューロンの入力の重みを適切な値に設定する必要がある。現在はより複雑なネットが開発されており、AlexNetは規模が小さいのであるが、それでも、65万個のニューロンを使っており、約6000万個の入力の重みの値を決めなければならない。これを決めるのが「学習(Learning)」である。

1変数のニュートンラプソン法では、y=f(x)の微分係数のdy/dxを計算し、xを調整してy=0になるようにしていくが、CNN(Convolutional Neural Network)の場合は変数(重み)の数が膨大であるので、Stochastic Gradient Descent(SGD)というアルゴリズムが使われる。

それぞれの重みに対する認識結果の誤差(学習の場合は、ロスと呼ばれる)の偏微分を計算し、その勾配が大きい方に重みを調整していく。ニュートンラプソン法でもそうであるが、1回の修正でロスがゼロになるように修正するのは過激で、補正しすぎて振動するなどしてしまい、上手くいかないので、通常、SGDでは、計算された値の1/1000とか1/10000の補正を行なう。そして、収束に近づくとこの比率をさらに小さくしていく。

ネットワークにもよるが、この調整を数10回から100回程度繰り返して、重みの値を収束させる。ILSVRC 2012の場合、AlexNetでは120,000画像を使って学習している。NVIDIAのGTX580 GPU(単精度のピーク演算性能は約1.58TFlops)を2個使い、この学習には5〜6日を要している。

調整のループ回数を80回とすると、12,000画像の学習には、100万回の推論が必要となる。

○入力重みの変化でロスがどう変化するかを求める

出力層の各出力が、各入力の変化でどう変わるかは、で表わされる。出力Yがn個あり、入力Xがm個あると、この値はn×mの行列になる。各出力が、各入力の重みの変化でどう変わるかはで表わされ、これもn×mの行列になる。

しかし、Yは、Yi= W1*X1+W2*X2+W3*X3、…のような1次式であるので、はWjであるし、はXjであるので計算は簡単である。そして、ReLUが付いている場合も出力が正であればそのまま、負であればゼロにすればよいので、これも簡単である。

問題は、前段の重みや入力の変化に対する最終出力の変化をどうやって求めるかである。そのやり方であるが、出力層をn層目とすると、その前のn-1層の出力が、n-1層の各入力や入力の重みの変化でどう影響を受けるかを求める。このやり方は、出力層の場合と同じである。

そして、図9-3に示すように、出力層nの最終出力の入力変化に対する偏微分の行列に、n-1層の出力のn-1層の入力の変化に対する偏微分の行列を掛ければ、最終出力に対するn-1層の入力の変化に対する偏微分が得られる。

ただし、n-1層の出力は、n層の複数のニューロンに繋がっているので、その接続に従って、1つの出力を複製してやる必要がある。

そして、この作業を入力層に到達するまで繰り返せば、すべての入力と重みに対する偏微分が求まる。この作業をBackward Propagationと言う。

この説明から分かるように、大量の計算が必要となるのは、図9-3に示したパスに従って、各層の出力の入力と重みの変化に対する偏微分の行列を掛けて行くBackpropagationの作業である。つまり、学習も計算という点では、行列の乗算を繰り返すことになる。

そして、各層の入力の重みによる偏微分が求まると、この値に通常ηと書かれる小さな値を掛けて全ての入力の重みを更新する。ただし、ロスは非線形な関数であるので、一度でロスをゼロにすることはできず、この作業を繰り返してロスをゼロに近づける。

はてなブックマークに保存

最新トピックス

ITトピックス

芸能写真ニュース

旬なニュースを配信中 フォローしてね!

注目ワード

話題の投稿画像

「コンピュータアーキテクチャの話 (372) ディープラーニングの入力の重みの値を決める「学習」」の関連ニュース

注目ニュース
矢吹健太朗に女子トイレマークを描いてもらうルポ漫画、ジャンプ+で掲載中止に ねとらぼ4月23日(日)16時45分
4月23日に集英社の週刊少年ジャンプ編集部は、20日から漫画サイト「ジャンプ+」で公開していたルポ漫画「すすめ!ジャンプへっぽこ探検隊!」…[ 記事全文 ]
東芝、社内カンパニーを「分社化」へ 子会社に譲渡 ITmedia NEWS4月24日(月)17時45分
東芝は4月24日、同社の社内カンパニー4社(インフラシステムソリューション社、ストレージ&デバイスソリューション社、インダストリアルICT…[ 記事全文 ]
世界最大太陽望遠鏡、太陽フレア爆発の前兆現象を観測 マイナビニュース4月24日(月)11時47分
名古屋大学宇宙地球環境研究所長の草野完也教授が参加する米国、中国、日本の国際共同研究チームは、太陽フレア爆発の前兆現象の詳細観測に成功した。[ 記事全文 ]
UPQの「4Kディスプレイ」表記スペックに誤り 購入済みユーザーには「Amazonギフト券」で対応 ITmedia NEWS4月24日(月)12時30分
UPQ(東京都文京区)は、同社が販売する4Kディスプレイ3機種においてWebサイト上でのスペック表記に誤りがあることを明らかにした。[ 記事全文 ]
360度移動可能! ゴムボールでコロコロ進むセグウェイのような乗り物 GIZMODO4月24日(月)12時6分
体幹鍛えられそう。セグウェイは、認知度は広まったものの、今ひとつ一般に普及していませんね。[ 記事全文 ]
アクセスランキング
1 世界最大太陽望遠鏡、太陽フレア爆発の前兆現象を観測マイナビニュース4月24日(月)11時47分
2 矢吹健太朗に女子トイレマークを描いてもらうルポ漫画、ジャンプ+で掲載中止にねとらぼ4月23日(日)16時45分
3 360度移動可能! ゴムボールでコロコロ進むセグウェイのような乗り物GIZMODO4月24日(月)12時6分
4 メルカリ、「現金出品」に対策 現行紙幣の出品を禁止ITmedia NEWS4月24日(月)14時10分
5 1日10食限定「戸愚呂100%中の100%チョコレートパフェ(2000円)」の破壊力 幽白コラボCafe、メニューを公開ねとらぼ4月23日(日)13時1分
6 新版「グーグルアース」が公開、3D映像で宇宙散歩が可能にForbes JAPAN4月23日(日)9時0分
7 UPQの「4Kディスプレイ」表記スペックに誤り 購入済みユーザーには「Amazonギフト券」で対応ITmedia NEWS4月24日(月)12時30分
8 東芝、社内カンパニーを「分社化」へ 子会社に譲渡ITmedia NEWS4月24日(月)17時45分
9 ドコモ初のメガピクセルケータイ「D505i」ITmedia Mobile4月18日(火)6時0分
10 三ツ矢サイダーのCMが炎上 トランペット演奏中の人へ背後からぶつかるシーンに楽器経験者から批判続出ねとらぼ4月18日(火)18時54分

本サイトのニュースの見出しおよび記事内容、およびリンク先の記事内容は、各記事提供社からの情報に基づくものでビッグローブの見解を表すものではありません。

ビッグローブは、本サイトの記事を含む内容についてその正確性を含め一切保証するものではありません。本サイトのデータおよび記載内容のご利用は、全てお客様の責任において行ってください。

ビッグローブは、本サイトの記事を含む内容によってお客様やその他の第三者に生じた損害その他不利益については一切責任を負いません。

データ提供元:アニメキャラクター事典「キャラペディア