SUBARUがAMDとの協業を深化、AMDがVersal AI Edge Gen2ベースのカスタムSoCを提供へ
2024年4月22日（月）17時4分 マイナビニュース
SUBARUとAMDは4月19日、共同でオンライン形式で「SUBARU×AMD協業について〜SUBARU Lab 死亡交通事故ゼロに向けたアイサイト進化の取り組み〜」と題した記者説明会を開催した(Photo01)ので、その内容をご紹介したい。
SUBARUとAMDの協業は、公開されたもので言えば2020年に遡る。SUBARUのアイサイトに、それまでの日立オートモティブシステムズ製に代わりVeoneer製のステレオカメラを導入する事を発表し、このVeoneer製のステレオカメラにAMD(当時はまだ買収完了前のためXilinx)の「Zynq Ultrascale+」が採用されたという格好だ。このアイサイト向けのビジネスを失った日立Astemoは2023年9月に、やはりZynq Ultrascale+を搭載したステレオカメラを発表したが、そのSUBARUはAMDのVersal AI Edge Gen2の発表の際に、次世代アイサイトにこのVersal AI Edge Gen2を採用する事を発表している。今回はこの次世代製品に纏わる話である。
まずSUBARU側から。同社はこれまでこれまで三鷹の東京事業所と群馬製作所に先進ソフトウェアの開発拠点を置いていたが、2020年にSUBARU Labを渋谷に開設し、ここでAIに絡んだ開発を行っているそうである。なんで渋谷か？ というとAI関係の会社が多く拠点を構えており、こうした外部のリソースとの協業には地理的に近い方が好ましいと判断したとのこと。そして今回の開発は、このSUBARU Labが主体になっているそうだ。
さて、同社はすでにステレオカメラを30年近く手掛けてきており、最初のものは1999年に出て来たADA(Adaptive Driving Assist)としてレガシィランカスターに実装(Photo03)。
その後2008年にこれがアイサイトとなり。その後も随時進化を続けている。最近のアイサイトはPhoto03にもあるようにSensor Fusionに進化しているが、ただコアの部分はステレオカメラであり(Photo04)、これにAIを組み合わせることでより高い性能を得ようとしている。
ちょっと順序が異なるが、SUBARUの安全思想を示したのがこちら(Photo05)。
この中でアイサイトの関連技術は真ん中の予防安全に関わる部分である。同社によれば、過去の死亡事故の要因を分析し、このうち57%は予防安全の機能によって死亡を防げる、と判断している(Photo06)。SUBARUの目標は、2030年までに死亡事故ゼロを目指すというもので、そのために予防安全の機能をさらに高めたい、という訳だ。
このための技術の1つがAIである。現在同社が開発しているASURA Net一対のステレオカメラから得た画像を20以上のNNで共有し、各々が異なる目的で画像を分析、その結果を車体制御に反映するという仕組みである(Photo07)。
最終的にこれはすべて車側に搭載される前提なので、当然処理性能の制約がある。このため個々のNetworkの規模はそれほど大きくないらしいが、うまく役割を分担させて協調動作させることで、必要な判断が行えるようにしているという事だそうだ。
このAIを利用しての分析は、ステレオカメラと非常に相性が良いそうだ(Photo08)。例えば路上に歩行者が倒れている(Photo09)という状況で、AIだけだとそれが道全体の盛り上がりなのか、なにか異物があるのか判断できないが、ステレオカメラを併用する事で異物の大きさが判断できるので、そこで道全体の盛り上がりではないと判断できるのだという。
また自動運転は現状だと自動車専用道に限られるという(Photo10)。
理由はセンターラインなどを利用してルートの確定を行っているからで、一般道の様にセンターラインが消えてたり、そもそも無かったりといったところでは、そもそもセンターラインとかサイドラインとかが利用できない。ただ人間はそういう道でも問題なく運転ができる訳で、これと同等の事を出来るようにするためにはまだ研究が必要とされる。実際一般道では、様々なシチュエーションが存在しており、これをどうやって認識するか？ という問題が出てくる。これに対するSUBARU Labの解は、実際にエンジニアがそうした状況の悪い道路に自分で車を運転してデータを取りに行き、そこで得たAIの推定データに対して正解を教え込むことでモデルを修正する、という教師付き学習を行っているのだそうだ。その結果として、例えば雪道での自動走行を行うといった事も可能になっている(Photo12)。これはレーダーやLiDAR、地図情報などを一切使わずに、AIステレオカメラのみで実現しているとする。
さてここからが今回の発表のメインである。AMDのVersal AI Edge Gen2の詳細は以前こちらで説明した通りであるが、これをアイサイトの様なステレオカメラベースに利用する場合の一般的なイメージがこちら(Photo13)になる。
これに対してSUBARUでは、このVersal AI Edge Gen2をベースとしたカスタマイズ製品を利用する事が今回発表された(Photo14)。
カスタマイズの中で「SUBARU向け最適化回路」に関しては、少なくともステレオカメラ周りの回路を追加する予定だとしている。もっともこのSUBARU向けのカスタム版Versal AI Edge Gen2はまだ仕様を固めて設計を始めている段階(Photo15)であって、現時点ではまだ存在しない。
当面はVersal AI Edge Gen2をベースに、例えば足りない機能はさらに外付けのFPGAを使って実装するといった形でアプリケーションの開発を進めてゆくのだろうと思われる。
さて、Roane氏の説明の方は？ というとほとんどの部分が先のVersal AI Edge Gen2の発表の際のものと重複していたのでこちらは割愛するが、1つアドバンテージとして挙げていたのがAdaptive Computingである(Photo16)。
CPUとかGPUなどのソリューションの場合、例えばNetworkの処理を本当に同時に行う事は不可能で、順次処理を行ってゆく事になる。今回の例で言えば、Photo07で1つのステレオカメラの映像から20以上のHeadsと呼ばれる処理を同時に行う訳だが、これを本当に同時に行うのは不可能であり、まずVehicle Detectionを短時間で完了させ、次にPedestrian Detectionを行い……という形の逐次処理になる。もちろん動作周波数を引き上げれば個々の処理時間を短縮できるから間に合うかもしれないが、消費電力は大きくならざるを得ないし、Latencyが大きくなる。
一方Versal AI Coreの場合、例えばAI Engineも複数のNetworkを本当に同時に実行できる(2D Meshの形でエンジンが搭載され、これを任意の数にパーティション分けして、それぞれ別のNetworkを実行できる)し、FPGA部分も同様である。そもそも逐次的に処理を行うケース、Photo07で言えば、Backboneと呼ばれる映像取り込み→合成→機能抽出の処理は当然並行には行えないし、そのBackboneの出力が出てこないとTrunkと呼ばれる機能は動かせないからこういう部分は逐次処理になる訳だが、Versal AI Edgeの場合はそれぞれの処理を専用ブロックとして固定的に機能割り当てできるから、いわばデータフロー的に最小限のLatencyで処理が行える事になる。
「1msのLatencyの差が生と死を分ける」(Roane氏)と言うのは多分に誇張はあるにしても、ある程度真実である。時速100Km/hで走る車にとって、1m進むのに必要な時間は36msでしかない。操作を行ってから車が反応するまでのディレイ(例えばステアリングを切っても進行方向が変わるまでには一定のラグがある)を考えると、制御を行う部分ではLatencyを最小限にするのは必須要件であり、そうした用途にAdaptive Computingのコンセプトが丁度マッチした、ということだろう。
こうしてみると、そもそもVersal AI Edge Gen2の強化ポイントはかなりの部分SUBARUの要求があったのか？ という気もするが、「SUBARUの要求ももちろん参考にしたが、他の有力カスタマーの要求も色々あり、そうしたモノを盛り込んだ結果だ」という形での回答であった。また今後SUBARU以外にもカスタム版を提供する予定は？ という質問に対しても、その可能性は否定しなかった。そもそもAMDはソニー・インタラクティブエンタテインメント(旧ソニー・コンピュータエンタテインメント/SCE)やMicrosoftにカスタムSoCを提供しているベンダーであり、ある程度の規模が見込めるなら(カスタムの範囲にもよるのだろうが)そうしたソリューションを提供する事は当然Welcomeなのだろう。
今回最大のトピックはそんな訳で、AMDはSUBARU規模の顧客であってもカスタムSoCを提供可能、という事なのだと思う。柴田氏曰く「本当に死亡事故ゼロを目指すためには、高級車だけでなく低価格の車にも当然アイサイトの様なものを入れていかないといけない」としているが、そのSUBARUの世界生産台数は2023年上半期(4〜9月)で49万台余り。年間でも100万台程度でしかない。この100万台にすべてアイサイトが搭載されても、年間出荷量100万個である。PlayStation 5はすでに累計5000万台を超えている事を考えると、随分カスタムSoCを提供する敷居が下がったと考えざるを得ない。あるいはSUBARUはアイサイトの外販を考えており、それも加味するともっと出荷量が増えるのかもしれないが。このあたり、今後の発表を待ちたいところだ。
SUBARUとAMDの協業は、公開されたもので言えば2020年に遡る。SUBARUのアイサイトに、それまでの日立オートモティブシステムズ製に代わりVeoneer製のステレオカメラを導入する事を発表し、このVeoneer製のステレオカメラにAMD(当時はまだ買収完了前のためXilinx)の「Zynq Ultrascale+」が採用されたという格好だ。このアイサイト向けのビジネスを失った日立Astemoは2023年9月に、やはりZynq Ultrascale+を搭載したステレオカメラを発表したが、そのSUBARUはAMDのVersal AI Edge Gen2の発表の際に、次世代アイサイトにこのVersal AI Edge Gen2を採用する事を発表している。今回はこの次世代製品に纏わる話である。
まずSUBARU側から。同社はこれまでこれまで三鷹の東京事業所と群馬製作所に先進ソフトウェアの開発拠点を置いていたが、2020年にSUBARU Labを渋谷に開設し、ここでAIに絡んだ開発を行っているそうである。なんで渋谷か？ というとAI関係の会社が多く拠点を構えており、こうした外部のリソースとの協業には地理的に近い方が好ましいと判断したとのこと。そして今回の開発は、このSUBARU Labが主体になっているそうだ。
さて、同社はすでにステレオカメラを30年近く手掛けてきており、最初のものは1999年に出て来たADA(Adaptive Driving Assist)としてレガシィランカスターに実装(Photo03)。
その後2008年にこれがアイサイトとなり。その後も随時進化を続けている。最近のアイサイトはPhoto03にもあるようにSensor Fusionに進化しているが、ただコアの部分はステレオカメラであり(Photo04)、これにAIを組み合わせることでより高い性能を得ようとしている。
ちょっと順序が異なるが、SUBARUの安全思想を示したのがこちら(Photo05)。
この中でアイサイトの関連技術は真ん中の予防安全に関わる部分である。同社によれば、過去の死亡事故の要因を分析し、このうち57%は予防安全の機能によって死亡を防げる、と判断している(Photo06)。SUBARUの目標は、2030年までに死亡事故ゼロを目指すというもので、そのために予防安全の機能をさらに高めたい、という訳だ。
このための技術の1つがAIである。現在同社が開発しているASURA Net一対のステレオカメラから得た画像を20以上のNNで共有し、各々が異なる目的で画像を分析、その結果を車体制御に反映するという仕組みである(Photo07)。
最終的にこれはすべて車側に搭載される前提なので、当然処理性能の制約がある。このため個々のNetworkの規模はそれほど大きくないらしいが、うまく役割を分担させて協調動作させることで、必要な判断が行えるようにしているという事だそうだ。
このAIを利用しての分析は、ステレオカメラと非常に相性が良いそうだ(Photo08)。例えば路上に歩行者が倒れている(Photo09)という状況で、AIだけだとそれが道全体の盛り上がりなのか、なにか異物があるのか判断できないが、ステレオカメラを併用する事で異物の大きさが判断できるので、そこで道全体の盛り上がりではないと判断できるのだという。
また自動運転は現状だと自動車専用道に限られるという(Photo10)。
理由はセンターラインなどを利用してルートの確定を行っているからで、一般道の様にセンターラインが消えてたり、そもそも無かったりといったところでは、そもそもセンターラインとかサイドラインとかが利用できない。ただ人間はそういう道でも問題なく運転ができる訳で、これと同等の事を出来るようにするためにはまだ研究が必要とされる。実際一般道では、様々なシチュエーションが存在しており、これをどうやって認識するか？ という問題が出てくる。これに対するSUBARU Labの解は、実際にエンジニアがそうした状況の悪い道路に自分で車を運転してデータを取りに行き、そこで得たAIの推定データに対して正解を教え込むことでモデルを修正する、という教師付き学習を行っているのだそうだ。その結果として、例えば雪道での自動走行を行うといった事も可能になっている(Photo12)。これはレーダーやLiDAR、地図情報などを一切使わずに、AIステレオカメラのみで実現しているとする。
さてここからが今回の発表のメインである。AMDのVersal AI Edge Gen2の詳細は以前こちらで説明した通りであるが、これをアイサイトの様なステレオカメラベースに利用する場合の一般的なイメージがこちら(Photo13)になる。
これに対してSUBARUでは、このVersal AI Edge Gen2をベースとしたカスタマイズ製品を利用する事が今回発表された(Photo14)。
カスタマイズの中で「SUBARU向け最適化回路」に関しては、少なくともステレオカメラ周りの回路を追加する予定だとしている。もっともこのSUBARU向けのカスタム版Versal AI Edge Gen2はまだ仕様を固めて設計を始めている段階(Photo15)であって、現時点ではまだ存在しない。
当面はVersal AI Edge Gen2をベースに、例えば足りない機能はさらに外付けのFPGAを使って実装するといった形でアプリケーションの開発を進めてゆくのだろうと思われる。
さて、Roane氏の説明の方は？ というとほとんどの部分が先のVersal AI Edge Gen2の発表の際のものと重複していたのでこちらは割愛するが、1つアドバンテージとして挙げていたのがAdaptive Computingである(Photo16)。
CPUとかGPUなどのソリューションの場合、例えばNetworkの処理を本当に同時に行う事は不可能で、順次処理を行ってゆく事になる。今回の例で言えば、Photo07で1つのステレオカメラの映像から20以上のHeadsと呼ばれる処理を同時に行う訳だが、これを本当に同時に行うのは不可能であり、まずVehicle Detectionを短時間で完了させ、次にPedestrian Detectionを行い……という形の逐次処理になる。もちろん動作周波数を引き上げれば個々の処理時間を短縮できるから間に合うかもしれないが、消費電力は大きくならざるを得ないし、Latencyが大きくなる。
一方Versal AI Coreの場合、例えばAI Engineも複数のNetworkを本当に同時に実行できる(2D Meshの形でエンジンが搭載され、これを任意の数にパーティション分けして、それぞれ別のNetworkを実行できる)し、FPGA部分も同様である。そもそも逐次的に処理を行うケース、Photo07で言えば、Backboneと呼ばれる映像取り込み→合成→機能抽出の処理は当然並行には行えないし、そのBackboneの出力が出てこないとTrunkと呼ばれる機能は動かせないからこういう部分は逐次処理になる訳だが、Versal AI Edgeの場合はそれぞれの処理を専用ブロックとして固定的に機能割り当てできるから、いわばデータフロー的に最小限のLatencyで処理が行える事になる。
「1msのLatencyの差が生と死を分ける」(Roane氏)と言うのは多分に誇張はあるにしても、ある程度真実である。時速100Km/hで走る車にとって、1m進むのに必要な時間は36msでしかない。操作を行ってから車が反応するまでのディレイ(例えばステアリングを切っても進行方向が変わるまでには一定のラグがある)を考えると、制御を行う部分ではLatencyを最小限にするのは必須要件であり、そうした用途にAdaptive Computingのコンセプトが丁度マッチした、ということだろう。
こうしてみると、そもそもVersal AI Edge Gen2の強化ポイントはかなりの部分SUBARUの要求があったのか？ という気もするが、「SUBARUの要求ももちろん参考にしたが、他の有力カスタマーの要求も色々あり、そうしたモノを盛り込んだ結果だ」という形での回答であった。また今後SUBARU以外にもカスタム版を提供する予定は？ という質問に対しても、その可能性は否定しなかった。そもそもAMDはソニー・インタラクティブエンタテインメント(旧ソニー・コンピュータエンタテインメント/SCE)やMicrosoftにカスタムSoCを提供しているベンダーであり、ある程度の規模が見込めるなら(カスタムの範囲にもよるのだろうが)そうしたソリューションを提供する事は当然Welcomeなのだろう。
今回最大のトピックはそんな訳で、AMDはSUBARU規模の顧客であってもカスタムSoCを提供可能、という事なのだと思う。柴田氏曰く「本当に死亡事故ゼロを目指すためには、高級車だけでなく低価格の車にも当然アイサイトの様なものを入れていかないといけない」としているが、そのSUBARUの世界生産台数は2023年上半期(4〜9月)で49万台余り。年間でも100万台程度でしかない。この100万台にすべてアイサイトが搭載されても、年間出荷量100万個である。PlayStation 5はすでに累計5000万台を超えている事を考えると、随分カスタムSoCを提供する敷居が下がったと考えざるを得ない。あるいはSUBARUはアイサイトの外販を考えており、それも加味するともっと出荷量が増えるのかもしれないが。このあたり、今後の発表を待ちたいところだ。
関連記事（外部サイト）
