BIGLOBEトップBIGLOBEニュース

コンピュータアーキテクチャの話 (372) ディープラーニングの入力の重みの値を決める「学習」

マイナビニュース2月17日(金)9時0分
画像:コンピュータアーキテクチャの話 (372) ディープラーニングの入力の重みの値を決める「学習」
写真を拡大
○ディープラーニングの学習

しかし、精度の高い推論を行うためには、各ニューロンの入力の重みを適切な値に設定する必要がある。現在はより複雑なネットが開発されており、AlexNetは規模が小さいのであるが、それでも、65万個のニューロンを使っており、約6000万個の入力の重みの値を決めなければならない。これを決めるのが「学習(Learning)」である。

1変数のニュートンラプソン法では、y=f(x)の微分係数のdy/dxを計算し、xを調整してy=0になるようにしていくが、CNN(Convolutional Neural Network)の場合は変数(重み)の数が膨大であるので、Stochastic Gradient Descent(SGD)というアルゴリズムが使われる。

それぞれの重みに対する認識結果の誤差(学習の場合は、ロスと呼ばれる)の偏微分を計算し、その勾配が大きい方に重みを調整していく。ニュートンラプソン法でもそうであるが、1回の修正でロスがゼロになるように修正するのは過激で、補正しすぎて振動するなどしてしまい、上手くいかないので、通常、SGDでは、計算された値の1/1000とか1/10000の補正を行なう。そして、収束に近づくとこの比率をさらに小さくしていく。

ネットワークにもよるが、この調整を数10回から100回程度繰り返して、重みの値を収束させる。ILSVRC 2012の場合、AlexNetでは120,000画像を使って学習している。NVIDIAのGTX580 GPU(単精度のピーク演算性能は約1.58TFlops)を2個使い、この学習には5〜6日を要している。

調整のループ回数を80回とすると、12,000画像の学習には、100万回の推論が必要となる。

○入力重みの変化でロスがどう変化するかを求める

出力層の各出力が、各入力の変化でどう変わるかは、で表わされる。出力Yがn個あり、入力Xがm個あると、この値はn×mの行列になる。各出力が、各入力の重みの変化でどう変わるかはで表わされ、これもn×mの行列になる。

しかし、Yは、Yi= W1*X1+W2*X2+W3*X3、…のような1次式であるので、はWjであるし、はXjであるので計算は簡単である。そして、ReLUが付いている場合も出力が正であればそのまま、負であればゼロにすればよいので、これも簡単である。

問題は、前段の重みや入力の変化に対する最終出力の変化をどうやって求めるかである。そのやり方であるが、出力層をn層目とすると、その前のn-1層の出力が、n-1層の各入力や入力の重みの変化でどう影響を受けるかを求める。このやり方は、出力層の場合と同じである。

そして、図9-3に示すように、出力層nの最終出力の入力変化に対する偏微分の行列に、n-1層の出力のn-1層の入力の変化に対する偏微分の行列を掛ければ、最終出力に対するn-1層の入力の変化に対する偏微分が得られる。

ただし、n-1層の出力は、n層の複数のニューロンに繋がっているので、その接続に従って、1つの出力を複製してやる必要がある。

そして、この作業を入力層に到達するまで繰り返せば、すべての入力と重みに対する偏微分が求まる。この作業をBackward Propagationと言う。

この説明から分かるように、大量の計算が必要となるのは、図9-3に示したパスに従って、各層の出力の入力と重みの変化に対する偏微分の行列を掛けて行くBackpropagationの作業である。つまり、学習も計算という点では、行列の乗算を繰り返すことになる。

そして、各層の入力の重みによる偏微分が求まると、この値に通常ηと書かれる小さな値を掛けて全ての入力の重みを更新する。ただし、ロスは非線形な関数であるので、一度でロスをゼロにすることはできず、この作業を繰り返してロスをゼロに近づける。

はてなブックマークに保存

最新トピックス

ITトピックス

芸能写真ニュース

旬なニュースを配信中 フォローしてね!

注目ワード

イチオシ情報

話題の投稿画像

恋愛&結婚

「コンピュータアーキテクチャの話 (372) ディープラーニングの入力の重みの値を決める「学習」」の関連ニュース

注目ニュース
「Twitter」iOSアプリに年齢制限 「17歳以上」に ITmedia NEWS3月27日(月)15時33分
「Twitter」のiOSアプリが3月25日にアップデートされ、新たに「17歳以上」の年齢制限が加わった。[ 記事全文 ]
「人として終わってる」——“情報弱者”を狙う「悪質ポイントサイト」ビジネス 手口や集客方法を関係者に聞いた ねとらぼ3月26日(日)19時0分
「manekin」や「キラキラ☆ウォーカー」といった、ポイントサイトの偽キャンペーンが相次いで問題になってからおよそ1カ月半。[ 記事全文 ]
レギンスはいた少女の搭乗拒否 ユナイテッド航空に批判 ねとらぼ3月27日(月)23時18分
米ユナイテッド航空がレギンスをはいた少女の搭乗を拒否したとして物議をかもしています。[ 記事全文 ]
iOS版Twitterアプリ、年齢制限を「17歳以上」に引き上げ 一部ユーザーから「アイコンがホーム画面から消えた」「使えない」の声 ねとらぼ3月27日(月)11時54分
Twitterアプリのアップデートに伴い、アメリカ時間の3月24日(日本時間の25日)から「Twitterアプリのアイコンがホーム画面から…[ 記事全文 ]
モトローラのSIMフリースマホ「Moto G5」「Moto G5 Plus」 J-CASTニュース3月27日(月)8時0分
パソコンおよびスマートフォン(スマホ)などを扱うシネックスインフォテック(東京都江東区)は、モトローラ・モビリティ・ジャパン製のSIMフリ…[ 記事全文 ]
アクセスランキング
1 「人として終わってる」——“情報弱者”を狙う「悪質ポイントサイト」ビジネス 手口や集客方法を関係者に聞いたねとらぼ3月26日(日)19時0分
2 「Twitter」iOSアプリに年齢制限 「17歳以上」にITmedia NEWS3月27日(月)15時33分
3 サーバルキャットの鳴き声、知ってる? Yahoo!で「♪検索」スタートGIZMODO3月26日(日)18時33分
4 母親の指紋とSiriで、意識を失った母親の命を救った4歳の男の子GIZMODO3月25日(土)20時7分
5 Android搭載「VAIO Phone A」受注スタート 予定3日前倒しITmedia NEWS3月27日(月)14時36分
6 「信じられない! 私ネコになってる〜!」 パパが作った“ネコ体感VRシステム”に娘さんおおはしゃぎねとらぼ3月22日(水)7時0分
7 スマホ版「KOF」景表法違反の疑いで訴訟問題に発展か さらに特商法違反も発覚ねとらぼ3月26日(日)9時45分
8 iOS版Twitterアプリ、年齢制限を「17歳以上」に引き上げ 一部ユーザーから「アイコンがホーム画面から消えた」「使えない」の声ねとらぼ3月27日(月)11時54分
9 森友学園問題で「忖度」の検索が増加 どんな意味?ねとらぼ3月25日(土)13時21分
10 あれがしたい、これがしたいを叶えてくれる。世界最小クラスの積み木型IoT「Cubeキット」lifehacker3月25日(土)17時0分

本サイトのニュースの見出しおよび記事内容、およびリンク先の記事内容は、各記事提供社からの情報に基づくものでビッグローブの見解を表すものではありません。

ビッグローブは、本サイトの記事を含む内容についてその正確性を含め一切保証するものではありません。本サイトのデータおよび記載内容のご利用は、全てお客様の責任において行ってください。

ビッグローブは、本サイトの記事を含む内容によってお客様やその他の第三者に生じた損害その他不利益については一切責任を負いません。

データ提供元:アニメキャラクター事典「キャラペディア