ZOZO研究所、AI分野のトップカンファレンス「ICLR 2024」にて論文採択
2024年2月14日（水）16時16分 PR TIMES
統計力学の平均場理論を深層距離学習に応用し、高効率な損失関数を提案
株式会社ZOZO NEXT（本社：千葉県千葉市 代表取締役CEO：澤田宏太郎 以下、ZOZO NEXT）の研究開発組織「ZOZO研究所」は、当所研究員が執筆した論文「Mean Field Theory in Deep Metric Learning」（邦題: 深層距離学習における平均場理論）が、表現学習に関する国際的な学術会議「ICLR（The International Conference on Learning Representations）2024」に採択されたことをお知らせいたします。本研究成果は、当所研究員である古澤 拓也によるものです。
[画像: https://prtimes.jp/i/96287/208/resize/d96287-208-a2ad270422ab578aaca5-0.jpg ]
「ICLR」は毎年開催される国際会議で、「ICML」「NeurIPS」などと並ぶ、機械学習の分野で権威あるトップカンファレンスの一つです。この度採択された論文は、2024年5月7日（火）から11日（土）にかけてオーストリアのウィーンで開催される同会議にて発表されます。
＜研究背景＞
ZOZO研究所では、「ファッションを数値化する」というミッションを掲げ、最先端のAI技術を研究しています。このミッションの一環として、よりパーソナライズされた購買体験を提供するための研究に注力しています。特に株式会社ZOZOが運営するファッションEC「ZOZOTOWN」において、画像検索や推薦システムの重要性が高まっており、これらの技術は、顧客のニーズに合った商品を迅速かつ正確に提示するための鍵となります。当研究所ではより精度の高いファッションアイテム推薦・検索基盤の構築を目指し、本研究の着手に至りました。
＜論文の概要＞
今回採択された論文「Mean Field Theory in Deep Metric Learning」では、統計物理学における磁性体と深層距離学習の類似性に着目し、深層距離学習における２つの新しい損失関数（※1）を提案しています。
深層距離学習は、画像検索、顔認識、推薦システムなど、多くのアプリケーションにおいて重要な役割を果たしている機械学習手法の一つです。この手法では、複雑なデータから特徴ベクトル（※2）を抽出した上で、似たデータ間の特徴空間内での距離を小さくし、異なるデータ間の距離を大きくするような損失関数の設計が必要です。しかし、深層距離学習でよく用いられるペアの類似度に基づく損失関数（※3）では、データ数の増加に伴うペアの組み合わせの増大により、学習が難しくなるという課題がありました。
この課題に対処するため、統計物理学における磁性体と深層距離学習の類似性に着目しました。具体的には、磁性体において、磁気モーメントが相互作用し、同じ方向を向く状態がエネルギー的に好まれる現象と、深層距離学習におけるデータ間の相互作用が類似していることを指摘しました。
統計物理学において、通常、磁気モーメント間の相互作用を考慮して計算をおこなうことは困難ですが、平均場理論（※4）を用いることで、この問題を解消することができます。同様に、深層距離学習における複雑なペアの類似度に基づく損失関数も、平均場理論を適用することで、より単純で効果的な損失関数に変形できることを発見しました。
このアプローチにより、新たにMean Field Contrastive LossとMean Field Class-Wise Multi-Similarity Lossという2つの新しい損失関数を提案しました。これらの損失関数は、従来の手法と比較して、画像検索タスクにおいて優れた精度と速い学習収束性（※5）を示すことが実験により確認されました。この結果は、深層距離学習における平均場理論の応用が有効であることを示しています。
なお、論文の内容の詳細については、ブログ記事「深層距離学習における平均場理論（https://techblog.zozo.com/entry/mft-in-dml）」でも解説しています。
（※1）「損失関数」とは、機械学習モデルが予測した結果と正解との差を計算する数式のこと。
（※2）「特徴ベクトル」とは、画像処理や機械学習において画像などのデータの重要な特徴を数値化したもの。それによって、画像の分類や認識などのタスクをおこなうことができる。
（※3）「ペアの類似度に基づく損失関数」とは、主に画像やデータのペアの類似度を最大化するために使用される関数。2つの入力データ（例：2つの商品画像）を同時に処理し、それらの類似度を評価する。
（※4）「平均場理論」とは、物理学の分野で使われる言葉で、多数の粒子が相互作用する場合、その相互作用を平均的なものとして扱うことで、簡単に計算する方法のこと。
（※5）「学習収束性」は、モデルの学習が進むと損失が収束して最適なパラメータに近づく性質のこと。
＜今後の取り組みと展望＞
この研究によって開発された新しい損失関数は、ZOZOTOWNにおける画像検索や推薦システムの能力を向上させる可能性を秘めています。今後、この研究を更に発展させ、異なる種類のデータセットやより実践的な問題設定にも応用することを目指しています。
ZOZO NEXTは、ミッション「Create the Future of Fashion and the NEXT Big Thing.」を掲げており、ZOZOグループが保有する膨大なデータやテクノロジーの積極的な活用に取り組んでいます。また、「Change」「Commit」「Collaborate」といったZOZO NEXTのバリューが、当所研究員の個性を尊重し、新たな挑戦を奨励することによって、統計物理学と深層距離学習という異なる分野の知見を融合する挑戦的な研究を可能としています。
ZOZO研究所は今後もAI技術を用いた推薦・検索技術をプロダクトに取り入れ、より利便性の高いプロダクトの構築とサービスの向上を目指し、研究・開発に努めてまいります。
＜ZOZO研究所について＞
ZOZO研究所は、「ファッションを数値化する」をミッションに掲げるZOZOグループの研究機関です。ZOZOグループが保有するファッションに関する膨大な情報資産を基に、ファッションを科学的に解明するための研究開発を行っています。
■所名 ： ZOZO研究所（ZOZO RESEARCH）
■設立 ： 2018年1月31日
■URL ： https://research.zozo.com/
株式会社ZOZO NEXT（本社：千葉県千葉市 代表取締役CEO：澤田宏太郎 以下、ZOZO NEXT）の研究開発組織「ZOZO研究所」は、当所研究員が執筆した論文「Mean Field Theory in Deep Metric Learning」（邦題: 深層距離学習における平均場理論）が、表現学習に関する国際的な学術会議「ICLR（The International Conference on Learning Representations）2024」に採択されたことをお知らせいたします。本研究成果は、当所研究員である古澤 拓也によるものです。
[画像: https://prtimes.jp/i/96287/208/resize/d96287-208-a2ad270422ab578aaca5-0.jpg ]
「ICLR」は毎年開催される国際会議で、「ICML」「NeurIPS」などと並ぶ、機械学習の分野で権威あるトップカンファレンスの一つです。この度採択された論文は、2024年5月7日（火）から11日（土）にかけてオーストリアのウィーンで開催される同会議にて発表されます。
＜研究背景＞
ZOZO研究所では、「ファッションを数値化する」というミッションを掲げ、最先端のAI技術を研究しています。このミッションの一環として、よりパーソナライズされた購買体験を提供するための研究に注力しています。特に株式会社ZOZOが運営するファッションEC「ZOZOTOWN」において、画像検索や推薦システムの重要性が高まっており、これらの技術は、顧客のニーズに合った商品を迅速かつ正確に提示するための鍵となります。当研究所ではより精度の高いファッションアイテム推薦・検索基盤の構築を目指し、本研究の着手に至りました。
＜論文の概要＞
今回採択された論文「Mean Field Theory in Deep Metric Learning」では、統計物理学における磁性体と深層距離学習の類似性に着目し、深層距離学習における２つの新しい損失関数（※1）を提案しています。
深層距離学習は、画像検索、顔認識、推薦システムなど、多くのアプリケーションにおいて重要な役割を果たしている機械学習手法の一つです。この手法では、複雑なデータから特徴ベクトル（※2）を抽出した上で、似たデータ間の特徴空間内での距離を小さくし、異なるデータ間の距離を大きくするような損失関数の設計が必要です。しかし、深層距離学習でよく用いられるペアの類似度に基づく損失関数（※3）では、データ数の増加に伴うペアの組み合わせの増大により、学習が難しくなるという課題がありました。
この課題に対処するため、統計物理学における磁性体と深層距離学習の類似性に着目しました。具体的には、磁性体において、磁気モーメントが相互作用し、同じ方向を向く状態がエネルギー的に好まれる現象と、深層距離学習におけるデータ間の相互作用が類似していることを指摘しました。
統計物理学において、通常、磁気モーメント間の相互作用を考慮して計算をおこなうことは困難ですが、平均場理論（※4）を用いることで、この問題を解消することができます。同様に、深層距離学習における複雑なペアの類似度に基づく損失関数も、平均場理論を適用することで、より単純で効果的な損失関数に変形できることを発見しました。
このアプローチにより、新たにMean Field Contrastive LossとMean Field Class-Wise Multi-Similarity Lossという2つの新しい損失関数を提案しました。これらの損失関数は、従来の手法と比較して、画像検索タスクにおいて優れた精度と速い学習収束性（※5）を示すことが実験により確認されました。この結果は、深層距離学習における平均場理論の応用が有効であることを示しています。
なお、論文の内容の詳細については、ブログ記事「深層距離学習における平均場理論（https://techblog.zozo.com/entry/mft-in-dml）」でも解説しています。
（※1）「損失関数」とは、機械学習モデルが予測した結果と正解との差を計算する数式のこと。
（※2）「特徴ベクトル」とは、画像処理や機械学習において画像などのデータの重要な特徴を数値化したもの。それによって、画像の分類や認識などのタスクをおこなうことができる。
（※3）「ペアの類似度に基づく損失関数」とは、主に画像やデータのペアの類似度を最大化するために使用される関数。2つの入力データ（例：2つの商品画像）を同時に処理し、それらの類似度を評価する。
（※4）「平均場理論」とは、物理学の分野で使われる言葉で、多数の粒子が相互作用する場合、その相互作用を平均的なものとして扱うことで、簡単に計算する方法のこと。
（※5）「学習収束性」は、モデルの学習が進むと損失が収束して最適なパラメータに近づく性質のこと。
＜今後の取り組みと展望＞
この研究によって開発された新しい損失関数は、ZOZOTOWNにおける画像検索や推薦システムの能力を向上させる可能性を秘めています。今後、この研究を更に発展させ、異なる種類のデータセットやより実践的な問題設定にも応用することを目指しています。
ZOZO NEXTは、ミッション「Create the Future of Fashion and the NEXT Big Thing.」を掲げており、ZOZOグループが保有する膨大なデータやテクノロジーの積極的な活用に取り組んでいます。また、「Change」「Commit」「Collaborate」といったZOZO NEXTのバリューが、当所研究員の個性を尊重し、新たな挑戦を奨励することによって、統計物理学と深層距離学習という異なる分野の知見を融合する挑戦的な研究を可能としています。
ZOZO研究所は今後もAI技術を用いた推薦・検索技術をプロダクトに取り入れ、より利便性の高いプロダクトの構築とサービスの向上を目指し、研究・開発に努めてまいります。
＜ZOZO研究所について＞
ZOZO研究所は、「ファッションを数値化する」をミッションに掲げるZOZOグループの研究機関です。ZOZOグループが保有するファッションに関する膨大な情報資産を基に、ファッションを科学的に解明するための研究開発を行っています。
■所名 ： ZOZO研究所（ZOZO RESEARCH）
■設立 ： 2018年1月31日
■URL ： https://research.zozo.com/
