統計学における、多重比較、多重性、多重検定の問題は、複数の統計的推論を同時に検討したり、観測値に基づいて選択されたパラメータのサブセットを推論したりするときに発生する。
推論が多くなればなるほど、誤った推論の可能性が高くなる。この問題に対処するため、様々な統計的手法が開発されている。典型的な方法としては、行われる推論の数を補うように、個々の比較に対してより厳しい有意水準を要求する方法がある。
歴史 多重比較の問題は、1950年代にジョン・テューキーやヘンリー・シェッフェなどの統計学者の研究によって注目されるようになった。その後数十年にわたって、この問題に対処するために多くの手続きが開発された。1996年には、多重比較の取り扱いに関する最初の国際会議がテルアビブで開催された。
定義 多重比較は、ある統計分析が複数の統計検定を同時に含み、その各々が何かしらの「発見」をもたらす可能性があるときに生じる。一般な分析の際には、個別の検定に信頼基準を設定し、設定された信頼基準は各々の検定にのみ適用されるが、多くの場合、同時に行われる検定の系列全体に対する一律の信頼水準を持つことが望ましい。多重検定の補正に失敗すると、以下の例で示されるように、実際に重要な結果を招く可能性がある。
処置群は生徒に新しい方法でライティングを教えた群で、対照群は標準的なライティングの教え方を使った群だとする。2つのグループの生徒は、文法、スペル、構成、内容などの点で比較することができる。より多くの項目を比較すると、標本誤差だけで、少なくとも1つの項目で処置群と対照群が異なるように見える可能性が高くなる。
ある薬の有効性を、いくつかの病気の症状のどれか1つの軽減という観点から考えるとする。より多くの症状を考慮すればするほど、少なくとも1つの症状において、その薬が既存の薬より改善されているように見える可能性が高くなる。
どちらの例でも、比較の数が増えるにつれて、比較されるグループが少なくとも1つの項目に関して異なって見える可能性が高くなる。ある結果が独立したデータによって一般化されるという確信は、一般的に、単一の比較のみを行った分析よりも、複数の比較を含む分析の一部として観察された場合の方が弱くなるはずである。
たとえば、1つの検定が有意水準5%で実施され、対応する帰無仮説が真であれば、帰無仮説を誤って棄却するリスクは5%だけである。しかし、100個の検定がそれぞれ有意水準5%で実施され、対応する帰無仮説がすべて真である場合、予想される不正確な棄却（偽陽性または第一種過誤としても知られる）の数は5つになる。また、検定が互いに統計的に独立している（すなわち、独立標本で実施されている）場合、誤った棄却が少なくとも1つある確率は約99.4%になる。
このような多重検定で発生する偽陽性率の上昇や網羅率の低下を防ぐ手法が開発されている。
多重仮説検定の分類 次の表は、複数の帰無仮説を検定するときに起こりうる結果を定義したものである。m個の帰無仮説があるとし、それぞれをで表す。 統計的検定を用いて、検定が有意であると宣言された場合、帰無仮説を棄却する。検定が有意でない場合は、帰無仮説を棄却しない。すべてのHi にわたって各検定結果を合計すると、以下の確率変数が得られる。
帰無仮説が真であるケースの数 (H0) 対立仮説が真であるケースの数 (HA) 合計 有意であるとされた検定の数 有意でないとされた検定の数 合計
は検証された仮説の総数 は、真の帰無仮説の数で、未知のパラメータ は、真の対立仮説の数 は、偽陽性（第一種過誤）の数（「偽の発見」とも呼ばれる） は、真陽性の数（「真の発見」ともいう） は、偽陰性（第二種過誤）の数 は、真陰性の数 は、棄却された帰無仮説（「発見」とも呼ばれ、真または偽のいずれか）の数 m個の仮説検定のうち、 m_{0} は真の帰無仮説で、R は観察可能な確率変数、S, T, U, V は観察不可能な確率変数である。
制御手順
多重検定補正とは、多重検定の問題を解決するために統計的検定をより厳しくすることである。最もよく知られているのはボンフェローニ補正であるが、他の方法も開発されている。このような方法は通常、ファミリーワイズエラー率（FWER）または偽発見率（FDR）をコントロールするように設計されている。 m個の独立した比較が実行される場合、ファミリーワイズエラー率は次式で与えられる。
したがって、検定が完全に同一でない限り、は比較の数が増えるにつれて増加する。比較が独立であると仮定しない場合でも、ブールの不等式から、次の式が導ける。
例:
ファミリーワイズエラー率が最大でもであることを保証するさまざまな方法がある。最も保守的な方法は、従属性と分布の仮定が必要ない、ボンフェローニ補正（）である。わずかに保守的でない補正として、個の独立比較の系列ごとの誤差率の式をについて解く方法がある。これによりという式が得られる。これはシダック補正として知られている。もう1つの手順はホルム＝ボンフェローニ法で、これは最も厳密な基準に対して最も低いp値（）のみを検定し、徐々に厳密でない基準に対してより高いp値（）を検定することにより、単純なBonferroni補正よりも検出力を高くすることができる（）。
連続的な問題では、事前-事後の確率分布等からを計算するためにベイズ統計学の手法を採用することができる。ボンフェローニ補正とシダック補正の連続的な一般化はに示されている。
大規模な多重検定 多重検定の調整のために考えられた伝統的な手法は、多くの場合、少数の多重比較の補正に焦点を当てている。数千またはそれ以上の数の検定が行われる大規模な多重検定については、異なる一連の手法が開発されてきた。例えば、ゲノミクスでは、マイクロアレイのような技術を用いると、何万もの遺伝子の発現レベルを測定することができ、何百万もの遺伝マーカーの遺伝子型を測定することができる。特に遺伝学的関連研究の分野では、ある研究では統計的に強く有意であったにもかかわらず、その後の研究で再現されないという、非再現性（non-replication）という深刻な問題がある。このような非再現性には多くの原因が考えられるが、多重比較の結果を十分に考慮していないことが原因の一つであると広く考えられている。測定と情報技術の進歩により、探索的解析のための大規模なデータセットの作成がはるかに容易になり、多くの仮説が真であることを期待する事前の根拠がないまま、多くの仮説を検証することになることが多いと論じられている。このような状況では、多重比較調整を行わない限り、非常に高い偽陽性率が予想される。
断定的な結果を提供することが目的である大規模な検定問題では、統計的検定に有意水準を割り当てるためのパラメータとして、ファミリーワイズ誤差率が依然として最も受け入れられている。研究が探索的とみなされる場合や、有意な結果が独立した研究で簡単に再試験できる場合は、偽発見率（FDR）による制御が好まれることが多い。FDRは、すべての有意な検定の中で予想される偽陽性の割合として緩やかに定義され、これを用いることで研究者は、フォローアップ研究でより厳密に評価するための「陽性候補」のセットを識別することができる。
有意なものを見つけることを期待して多くの未調整の比較を試みる行為は、意図的であるかどうかによらず、「p-ハッキング」と呼ばれて問題視されている。
関連項目 仮説検定 ダンカンの新多重範囲検定 どこでも効果 テキサスの狙撃兵の誤謬
脚注
参考文献 F. Betz, T. Hothorn, P. Westfall (2010), Multiple Comparisons Using R, CRC Press S. Dudoit and M. J. van der Laan (2008), Multiple Testing Procedures with Application to Genomics, Springer
P. H. Westfall and S. S. Young (1993), Resampling-based Multiple Testing: Examples and Methods for p-Value Adjustment, Wiley P. Westfall, R. Tobias, R. Wolfinger (2011) Multiple comparisons and multiple testing using SAS, 2nd edn, SAS Institute A gallery of examples of implausible correlations sourced by data dredging