コンフォーマル予測（コンフォーマルよそく、）は、統計学および機械学習において、観測データから計算したスコアの順位を用い、新しい観測の目的変数について候補値からなる予測集合を構成する枠組みである。回帰では主として予測区間を、分類では候補ラベルの集合を出力する。標準的な構成では、などの条件の下で、利用者が定めた誤被覆確率 に対し、真の目的変数が予測集合に含まれる周辺被覆確率が少なくとも となる有限標本の保証を与える。
標準的なコンフォーマル予測は、目的変数の条件付き分布に特定のパラメトリックな形を仮定せず、さまざまな予測モデルと組み合わせることができる。ただし、保証は交換可能性など、各構成が置く前提に依存する。標準的な保証は、各入力値や各部分集団に対する条件付き被覆ではなく、特徴量と目的変数の分布について平均した周辺被覆である。予測集合の幅や要素数は、基礎モデル、非適合度スコア、キャリブレーションデータの数などに左右される。
代表的な構成には、候補値ごとに全観測を対称に扱うフルコンフォーマル予測（）と、データを学習用とキャリブレーション用に分ける分割コンフォーマル予測（）がある。交差検証を利用する方法、入力に応じて集合の大きさを変える方法、分布変化や系列内の依存を扱う方法も研究されているが、それぞれの前提と保証は標準的な構成と同一とは限らない。
構成方法 非適合度スコア コンフォーマル予測では、観測または候補が予測規則にどの程度合わないかを表す非適合度スコア（）を用いる。分割コンフォーマル予測では、学習済みの予測規則を固定し、特徴量と候補となる目的変数の組 に対するスコアを関数 として計算する。通常は、値が大きいほど予測規則との不一致が大きいように定める。回帰では、予測値 に対する絶対残差
が単純な例である。分類では、候補ラベル に対する推定確率 を用いた などが使われる。保証の前提を満たす構成では、スコアの選択が予測集合の大きさや入力に対する適応性に影響する。
分割コンフォーマル予測 分割コンフォーマル予測では、データを学習用データとキャリブレーションデータに分ける。学習用データで予測モデルと非適合度スコアを定めた後、 個のキャリブレーションデータについて
を計算する。誤被覆確率を とし、
とする。 の 番目の順序統計量を とすれば、新しい特徴量 に対する予測集合は
と構成できる。学習用データから定めたスコア関数を固定した後、キャリブレーションデータと新しい観測が交換可能であれば、
が成立する。
分割法では予測モデルを一度学習すればよいため、フルコンフォーマル予測より計算量を抑えやすい。一方で、学習に使用できるデータが減少し、予測集合が一度のデータ分割に依存する。
フルコンフォーマル予測 フルコンフォーマル予測では、新しい特徴量 と候補値 の組を観測済みデータへ一時的に追加し、追加後の全観測を対称に扱って非適合度スコアの順位を計算する。候補値ごとに得られる順位に基づき、所定の水準で棄却されない候補を予測集合へ含める。データを学習用とキャリブレーション用に固定して分割しないが、一般的な実装では候補値ごとにモデルの再学習または同等の計算が必要となるため、連続値を扱う回帰などでは計算負荷が大きくなり得る。
仮説検定との関係 フルコンフォーマル予測は、候補値ごとの仮説検定としても解釈できる。候補値を新しい目的変数とする仮説について、スコアに基づくを考えると、有意水準 で棄却されない候補値の集合が予測集合に対応する。
被覆保証 交換可能性と周辺被覆 確率変数列が交換可能であるとは、その同時分布が有限個の要素の並べ替えによって変化しないことをいう。独立同分布は交換可能性を満たす十分条件であるが、交換可能性は独立同分布より弱い条件である。標準的なコンフォーマル予測の有限標本保証は、スコアの順位が交換可能になることに基づく。
分割コンフォーマル予測では、学習用データから定めたスコア関数を固定した条件の下で、キャリブレーションデータと新しい観測について平均した周辺被覆が保証される。したがって、この周辺被覆保証だけから、データを観測した後の特定の一件について「真値を の確率で含む」と結論することや、すべての特徴量の値で同じ被覆率になると結論することはできない。
有限標本での離散性 非適合度スコアの分布が連続で、同順位が生じない場合、前節の分位点補正を用いた分割コンフォーマル予測の被覆率は
を満たす。有限標本ではスコアの順位が離散的であるため、実際の被覆率は目標値 と一致しないことがある。キャリブレーションデータの数 が増えると、上限と下限の差は小さくなる。
条件付き被覆 特徴量の値 に条件付けた被覆率
を、あらゆる分布について各 で厳密に保証する非自明な予測集合を、分布に関する追加仮定なしに構成することは一般にはできない。このため、条件付き被覆を扱う方法では、対象とする部分集団をあらかじめ限定する、近似的な条件付き保証を用いる、分布の滑らかさなどの仮定を追加するといった形で目標を変更する。
クラスごと、部分集団ごと、または入力の近傍ごとの被覆を目標とする方法もあるが、その保証対象と必要な仮定は区別する必要がある。周辺被覆を満たすことだけから、各部分集団での被覆は導かれない。
予測集合の評価 被覆率を満たすことと、予測集合が目的変数の範囲を絞り込むことは別の性質である。候補空間全体を予測集合とすれば被覆率は満たせるが、目的変数の範囲は絞り込まれない。回帰では区間の長さ、分類では集合に含まれるラベル数などを被覆率と併せて評価する。同じ目標被覆率の下で得られる集合の大きさは、基礎モデルと非適合度スコアの設計に依存する。平均的な集合の大きさだけでは入力への適応性を表せないため、特徴量の部分集団や集合の大きさで層別した被覆率も評価に用いられる。
回帰 絶対残差を非適合度スコアに用いる分割コンフォーマル予測では、予測集合は
という対称な予測区間になる。この構成は有限標本の周辺被覆を与える一方、 が全入力で共通であるため、誤差の大きさが特徴量によって異なる場合には局所的な不確実性を十分に反映しないことがある。誤差尺度の推定値で残差を正規化する方法などにより、入力に応じて区間幅を変えることができる。
コンフォーマル分位点回帰（、CQR）は、による条件付き分布の下側分位点と上側分位点の推定値を基礎とし、その区間をキャリブレーションデータで補正する。分散が入力に依存する場合や分布が非対称な場合に、区間の位置と幅を入力へ適応させることを目的とする。交換可能性の下で周辺被覆を維持するが、条件付き分位点の推定精度は区間の大きさに影響する。
分類 分類では、各候補ラベルについて非適合度スコアを計算し、キャリブレーションデータから定めた閾値以下のラベルを予測集合へ含める。集合は一つのラベルだけを含む場合、複数のラベルを含む場合、または採用した構成によっては空集合になる場合がある。単純な例では を用いる。入力ごとの分類の難しさに応じて集合の大きさを変える方法では、推定確率の順位と累積確率を利用するスコアも用いられる。
分類における予測集合の評価では、全体の被覆率だけでなく、集合の平均要素数、単一ラベルだけを含む割合、クラスごとの被覆率などを区別する。全体の周辺被覆が成立していても、出現頻度の低いクラスなどで同じ被覆率になるとは限らない。
主な拡張 データ分割の再利用 一度の分割への依存を緩和し、より多くのデータをモデル学習へ用いるため、交差検証やに基づく構成が提案されている。ジャックナイフ+は、一個抜き学習による残差と新しい入力に対する一個抜き予測を組み合わせて回帰の予測区間を構成する。CV+は同様の考え方を交差検証へ拡張する。これらの有限標本保証は、分割コンフォーマル予測の式をそのまま適用したものではなく、各構成に固有の定理に基づく。
は、複数の無作為分割で得た分割コンフォーマル予測区間を、マルコフの不等式に基づいて集約する方法である。
局所適応 予測誤差の分布が入力によって変化する場合、非適合度スコアを局所的な誤差尺度で調整する方法、分位点回帰を用いる方法、キャリブレーション観測へ入力との近さに応じた重みを付ける方法などが用いられる。Guanが提案したは、テスト入力に近いキャリブレーション観測のスコアを重く扱い、有限標本の周辺被覆を保つように分位点の水準を調整する。追加の仮定の下では、局所的な被覆についての保証も与えられる。
分布変化と依存 学習時と予測時で特徴量の分布が異なる一方、特徴量を条件とした目的変数の分布が変わらない共変量シフト（）では、密度比によってキャリブレーション観測を重み付けする方法が提案されている。この保証には、シフトの形に関する仮定と重みの情報が必要であり、任意の分布変化を扱うものではない。
（ACI）は、分布変化を時間とともに変化する単一のパラメータの学習問題として扱い、そのパラメータを逐次再推定することで、長い時間区間にわたって目標とする被覆頻度を得る方法である。観測の重み付けによって交換可能性からのずれを扱う一般化も提案されている。時系列など依存を持つデータでは、標準的な交換可能性の仮定は通常そのまま成立しない。これらの方法が与える長期平均、重み付き、または近似的な保証を、交換可能なデータに対する標準的な有限標本保証と同一視することはできない。
応用分野 コンフォーマル予測の応用を扱う分野別のレビューも公表されている。臨床医学を対象とした2022年のレビューは、2021年4月までの文献検索で臨床的応用を報告した14件の論文を特定し、研究数、比較方法、臨床家の関与などを今後の課題として挙げた。
自然言語処理については、2024年の調査論文が、コンフォーマル予測の手法と保証、自然言語処理における既存の応用、今後の研究方向および未解決の課題を整理している。
歴史 コンフォーマル予測につながる初期の研究には、Alex Gammerman、Volodya Vovk、Vladimir Vapnikによる1998年の「Learning by Transduction」と、Craig Saunders、Alex Gammerman、Volodya Vovkによる1999年の「Transduction with Confidence and Credibility」がある。これらは、分類を対象とするトランスダクティブな予測手法を扱った。
初期の定式化は、ラベルを逐次的に予測し、それぞれの真のラベルが次の予測の前に明らかになるオンライン予測の設定を対象としていた。
2002年には、Harris Papadopoulosらが回帰を対象とする「Inductive Confidence Machines for Regression」を発表した。この構成は、後にまたは分割コンフォーマル予測と呼ばれる方法の初期形に位置づけられている。
Vladimir Vovk、Alexander Gammerman、Glenn Shaferは2005年に専門書『Algorithmic Learning in a Random World』を刊行し、ShaferとVovkは2008年に『Journal of Machine Learning Research』で解説論文を公表した。
脚注