"天気予報が外れた…"利用者の声を分析　様々な精度評価の検討へ

2021/07/27 17:09 ウェザーニュース

1995年以降、気象情報会社は独自の予報を発表できるようになり、各社の天気予報には違いがあります。ただ、日頃アプリやサイトで目にする天気予報の多くは、気象庁が発表したものをそのまま使っています。
ウェザーニュースが発表する天気予報は、様々な独自情報を用いて予報しているため、気象庁が発表する天気予報と違うことが度々あります。ウェザーニュースでは気象情報会社として、精度の高い天気予報をお届けするために、発表した予報についての分析を繰り返し、日々改善に取り組み続けています。

現在は気象庁と同じ方法で精度評価

現在、ウェザーニュースでは、気象庁が行っているのと同じ方法で精度を検証しています(※1)。朝5時に発表される当日(今日)一日の天気マークを対象としたものです。
その中でも、市民生活において最も影響の大きいと思われる、降水を見逃していないかを示す「降水捕捉率(※2)」と、予報に偏りがないように、全予報に対する評価として「適中率(※3)」の項目を精度検証しています。
そしてこちらの記事で明記したように、降水捕捉率については気象庁よりも精度が高く、適中率については同水準またはやや上回る結果となっています。

(※1)気象庁の評価方法に準拠し、朝5時に発表された当日の天気マークを対象としています。
対象地点は発表官署の所在している一次細分区域内のアメダスで、1日の積算降水量が1.0mm以上となった場合を「降水あり(雨雪)」としています。
(※2)降水捕捉率：実際に雨が降ったところに対して、雨の予報が発表されていた割合
(※3)適中率：全予報数に対する「雨予報をして実際に雨が降った場合と、雨が降らない予報で実際に雨が降らなかった場合」合計の割合

利用者が天気の当たり外れも直接報告できる

ウェザーニュースでは、アプリ利用者に現在地の天気を「ウェザーリポート」と呼ばれる独自システムで、空の写真とコメントを報告してもらっています。
例えば、雨雲レーダーや観測機ではわからない弱い雨でも、実際には現地で雨が降っていることが報告によって把握でき、観測機と観測機の隙間にあたるようなところでも、ウェザーリポートによってどのような天気になっているのかを知ることができるのです。この結果を天気予報のロジックに組み込んで他社とは違う独自のシステムを構築して、天気予報の精度を高めています。
そして、この通常のウェザーリポートとは別に、天気や気温が予報と違っている場合に、その旨を報告できる「ハズレ報告」のシステムも導入しています。このハズレ報告は、1時間ごとの天気予報、または一日(今日・明日)の天気予報について、"気温がはずれていた"や"予報がコロコロと変わっていた"など、該当項目の選択とコメントで報告するものです。

利用者のハズレの声を分析

そのシステムにより、利用者からはいろいろな声が寄せられています。その中の情報をいくつかに分類し、情報を蓄積しています。今回、予報センターでは、予報と天気が異なるという声が多く寄せられていた日について詳しく分析しました。
まず、予報と異なっているという声のあった日について、先述の評価で使っている当日の降水捕捉率や適中率を見てみると、予報が外れている地点が多いわけではありませんでした。ただ、さらに詳しく分析すると、一日の天気マークとしては当たっているけど、1時間ごとの細かい時系列で見ると、雨や晴れのタイミングがずれていて、それに対しての報告が多かったことがわかりました。

雨の降り出しが予想より大幅に遅れた例

(左)当日の朝時点での雨域予想　(右)ユーザー報告による実際の降水状況
例えば、2021年6月の中で、最もハズレ報告が多く寄せられた27日(日)の事例を見てみると、その報告の多くは関東南部の雨のタイミングが違ったというものでした。
この日は梅雨前線が北上してきて、関東南部では朝から雨が降る予想で、当日の朝にウェザーニュースが発表した東京や横浜などの天気マークは「雨」でした。時系列の天気でも朝から雨の予報が並んでいました。ところが、雨の降り出す時間が大幅に遅れて、関東南部で広く雨が降ったのは夕方以降となりました。この原因は、梅雨前線の動きを正確に予想できず、当日朝の予報よりも梅雨前線の位置が大きく南にずれて、関東南部にはなかなか雨雲がかからない状況となったためです。
予報センターでは、リアルタイムでのデータ分析や予報担当者による気象解析を行い、随時、最新の予報を反映していきました。しかし、結果的に数時間以上も雨の予測時間がずれてしまいました。
一日を通して見ると当日に雨が降ったため、既出の降水捕捉率や適中率では正解(予報が当たった)になりましたが、実際には大きな外れ感があり、この日はハズレ報告も多くなったと考えられます。

更なる予報精度向上へ

これまでは一日を通しての天気マークで検証を行ってきましたが、利用者からの外れているという声を分析した結果により、1時間ごとなど細かい時系列での予報精度についても検証が必要とわかりました。
今後は雨の降り出す時間などについても、独自観測機による気象データのリアルタイム解析や機械学習など、様々なアプローチで予報精度の向上につなげらるように日々の分析を続けていきます。

今回の事象を振り返り、新たな精度評価方法の必要性も

天気予報の精度について、気象庁の方法に準拠した場合は一日を通した天気の流れをまとめたものを評価することになります。
ただ、今回のように、実際に予報を受け取ったみなさんから届いた外れ報告を見ると、より利用者視点に立った評価方法が必要だと感じています。
今後は新たな評価方法を確立し、それをもとにした予報の改善に取り組んでいきます。

【宇野沢 達也】
ウェザーニュース予報センター 気象予報士。千葉県旭市出身 自治体防災担当職員から転職し入社28年目。予報精度改善チームで予報業務および精度検証・改善を行っている。

参考資料など

降水捕捉率 検証方法説明(気象庁ホームページ) https://www.data.jma.go.jp/fcd/yoho/kensho/explanation.html
気象庁 天気予報検証結果 https://www.data.jma.go.jp/fcd/yoho/data/kensho/score_f.html