最小二乗法

right|thumb|データセットを4次関数で最小二乗近似した例

最小二乗法（さいしょうにじょうほう、さいしょうじじょうほう；最小自乗法とも書く、）は、誤差を伴う測定値の処理において、その誤差の二乗の和を最小にするようにし、最も確からしい関係式を求める方法である。測定で得られた数値の組を、適当なモデルから想定される1次関数、対数曲線など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、残差平方和を最小とするような係数を決定する方法、あるいはそのような方法によって近似を行うことである。

歴史はじめて最小二乗法の概念が発表されたのは1806年にアドリアン＝マリ・ルジャンドルが出版した『彗星軌道の決定のための新方法』である。しかし、1809年にカール・フリードリヒ・ガウスが出版した『天体運動論（Theoria motus）』の中で1795年頃から最小二乗法を用いて天体の軌道を計算していることを述べた（実際に1801年大晦日、小惑星セレスの軌道をガウスは当てている）ため、その後ドイツとフランスで最小二乗法の先見者の激しい論争が起こった高増潔「精密測定における最小二乗法の使い方」『精密工学会誌』2010年、76巻10号、p.1130。

ルジャンドルは現在広く知られている正規方程式を作り出すなどの功績を残した。ガウスは最小二乗法の発見後、1797年から1798年の二年間、誤差の確率分布の研究に専念し、正規分布を発見した。さらに、もし誤差が正規分布に従うならば、最小二乗法によって推定された回帰係数が最尤推定値に一致することを証明している末吉俊幸「最小絶対値法による回帰分析」『Journal of the Operations Research』1997年、40巻2号、p.262。このような功績から（ルジャンドルの研究には確率論的な要素が不足していることもあり）最小二乗法を確立したのはガウスとされるのが一般的である高増潔「精密測定における最小二乗法の使い方」『精密工学会誌』2010年、76巻10号、p.1130。

また、1812年にピエール＝シモン・ラプラスは『確率の解析的理論（Analytical Theory of Probabilities）』において最小二乗法の確率論的根拠を論じており、独立な誤差の和の確率分布が正規分布に従うこと（中心極限定理）を証明している長岡一夫「ド・モルガンの『確率論』ーラプラスの『確率の解析的理論』の再生」『科学史研究』31巻181号、1992年、p.34。

計算の概要前提条件最小二乗法では測定データはモデル関数と誤差の和で

と表せるとする。物理現象の測定データには、誤差が含まれ、それは系統誤差と偶然誤差を含んでいる。この内、偶然誤差は、測定における信号経路の微視的現象に由来するならば、正規分布であると期待されることが多い。また、社会調査などの誤差理由の特定が困難な場合でも誤差が正規分布になると期待する考え方もある。

誤差が正規分布に従わない場合、最小二乗法によって得られたモデル関数はもっともらしくないことに注意する必要がある。偶然誤差が正規分布していない場合、系統誤差が無視できない位大きくそれをモデル関数に含めていない場合、測定データに正規分布から大きく外れた外れ値を含む場合などが該当する。

上記を含め、最小二乗法の理論的基盤には次のような前提が設けられている。測定値の誤差には偏りがない。すなわち誤差の平均値は 0 である。測定値の誤差の分散は既知である。ただし測定データごとに異なる値でも良い。各測定は互いに独立であり、誤差の共分散は 0 である。誤差は正規分布する。個のパラメータは、測定データの数よりも小さいとする。（フィッティングパラメータ）を含むモデル関数が知られていて、測定量の真の値を近似誤差なく再現することのできるパラメータが存在する。

基礎的な考え方話を簡単にするため、測定値はの二次元の平面に分布するものとし、想定される分布（モデル関数）がの形である場合を述べる。想定している関数は、既知の関数の線型結合で表されていると仮定する。すなわち、

例えば、は、多項式近似であり、特にの時はという直線による近似（線形回帰）になる。

今、測定で得られた、次のような数値の組の集合があるとする。

これらの分布が、というモデル関数に従うと仮定した時、想定される理論値は

ということになり、実際の測定値との残差は、各につきということになる。

この残差の大きさは、平面上でのととの距離でもある。

ここで、理論値からの誤差の分散の推定値は残差の平方和

で与えられるから、が最小になるように想定分布を（すなわちを）、定めればよいということになる。

それには、上式はを変数とする関数と見なすことができるので、をについて偏微分したものを 0 と置く。こうして得られた個の連立方程式（正規方程式）を解き、を決定すればよい。

一次方程式の場合さらに簡単な例として、モデル関数を1次関数とし、

とおくと、は次式で求められる。

解法例当てはめたい関数は、

と表すことができる。上付き添字 T は転置行列を表す。最小にすべき関数は

と表される。ここには、なる成分を持つ行列、、係数である。

これの最小解は、を満たす上三角行列の計算を経て、解を得ることができ、全体の計算量に無駄が少ない。下記の表式を用いるとが得られ、から係数解を求める。は正則行列と仮定。。

また前節で述べたように J をのそれぞれの成分で偏微分して 0 と置いた個の式（正規方程式）は行列を用いて、

と表される。これを正規方程式（）と呼ぶ。この正規方程式を解けば係数解が求まる。

係数解の解法には以下のようないくつかの方法がある。

逆行列で正規方程式を解く行列が正則行列（つまりフルランク）である場合は、解は一意に求まる。ただしの逆行列を明示的に求めることは通常は良い方法ではない。計算量が小さい方法としてコレスキー分解（、は上三角行列）による三角行列分解を経て、最終的にを解けばよい。数値的安定性確保のためには、積を経ない三角行列分解が良い。すなわち以下と同じくQR分解（直交分解）によるから、を解く。

直交分解で正規方程式を解くコレスキー分解の方法よりも計算量が大きいが、数値的に安定かつ汎用な方法として、QR分解や特異値分解（SVD）を用いる方法がある。これらの方法では計算の過程で積を必要としないため数値的安定性が高い。またが正則行列でない（ランク落ちしている）場合は正規方程式の解が不定となるが、その場合でも、これらの手法では解 a のうちノルムが最も小さいものを求めることができる。特異値分解を用いる場合は、特異値のうち極めて小さい値を 0 とみなして計算することで数値計算上の大きな誤差の発生を防ぐことができる() 。擬似逆行列を使う方法もあるが安川章. (2017). 科学実験/画像変換の近似計算に便利な「疑似逆行列」入門できる人が使っている最小二乗法の一発フィット. インターフェース= Interface, 43(8), 142-146.、計算効率が悪いため、特殊な場合（解析的な数式が必要な場合など）を除いてあまり用いられない。

拡張多次元想定される分布が媒介変数 t を用いての形（あるいはは複数の媒介変数によって決まるとしても同様）であっても考察される。

すなわち、測定値がパラメータに対するを理論値として近似されているものと考えるのである。

この場合、各点の理論値と測定値の間に生じる残差は

である。故に、残差平方和は

となるから、この値が最小であるように、を決定するのである。

このように、組のの測定値を組のの測定値に拡張したものも考察することができる。

測定の誤差が既知の場合回の測定における誤差があらかじめ分かっている場合を考える。異なる測定方法で測定した複数のデータ列を結合する場合などでは、測定ごとに誤差が異なることはしばしばある。誤差が正規分布していると考え、その標準偏差で、誤差の大きさを表す。すると、誤差が大きい測定より、誤差が小さい測定の結果により重みをつけて近似関数を与えるべきであるから、

を、最小にするように f を定める方がより正確な近似を与える。

毎回の測定が独立ならば、測定値の尤度はに比例する。そこで、上記のを最小にするは、最尤推定値であるとも解釈できる。また、は自由度のカイ二乗分布Weisstein, Eric W. "Chi-Squared Distribution." From MathWorld--A Wolfram Web Resource. に従うので、それを用いてモデルの妥当性を検定することもできる。

毎回の測定誤差が同じ場合、を最小にするのはを最小にするのと同じ意味になる。

非線形最小二乗法

もし、が、の線型結合で表されないときは、正規方程式を用いた解法は使えず、反復解法を用いて数値的にの近似値を求める必要がある。例えば、ガウス・ニュートン法やレーベンバーグ・マーカート法Weisstein, Eric W. "Levenberg-Marquardt Method." From MathWorld--A Wolfram Web Resource. Yu, H., & Wilamowski, B. M. (2011). Levenberg-marquardt training. Industrial electronics handbook, 5(12), 1.が用いられる。とくにレーベンバーグ・マーカート法（）は多くの多次元非線形関数でパラメータを発散させずに効率よく収束させる（探索する）方法として知られている。

異常値の除去前提条件の節で述べたように、測定データを最小二乗法によって近似する場合、外れ値または異常値が含まれていると極端に近似の尤もらしさが低下することがある。また、様々な要因によって異常値を含む測定はしばしば得られるものである。

誤差が正規分布から極端に外れた異常値を取り除くための方法として修正トンプソン-τ法が用いられるMichele Rienzner (2020). Find Outliers with Thompson Tau (), MATLAB Central File Exchange. Retrieved May 17, 2020.。

最小二乗法

Źródło i licencja