最小二乗法

最小二乗法（さいしょうにじょうほう、さいしょうじじょうほう；最小自乗法とも書く、英: least squares method）は、測定で得られた数値の組を、適当なモデルから想定される1次関数、対数曲線など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、残差平方和を最小とするような係数を決定する方法^[1][2][3]、あるいはそのような方法によって近似を行うことである^[1][2][3]。簡潔に言うと、誤差を伴う測定値の処理において、その誤差の二乗の和を最小にするようにし、最も確からしい関係式を求める方法である。

データセットを4次関数で最小二乗近似した例

歴史

1805年にアドリアン＝マリ・ルジャンドルが出版したのが初出である。しかし、1809年にカール・フリードリヒ・ガウスが出版した際に1795年には最小二乗法を考案済みだったと主張したことで、最小二乗法の発明者が誰であるかについては不明になっている。

計算の概要

前提条件

最小二乗法では測定データ ${\displaystyle y}$  はモデル関数 ${\displaystyle f(x)}$  と誤差 ${\displaystyle \varepsilon }$  の和で

${\displaystyle y=f(x)+\varepsilon }$ 

と表せるとする。物理現象の測定データには、誤差が含まれ、それは系統誤差と(偶然誤差)を含んでいる。この内、偶然誤差は、測定における信号経路の微視的現象に由来するならば、正規分布であると期待されることが多い。また、社会調査などの誤差理由の特定が困難な場合でも誤差が正規分布になると期待する(考え方)もある。

誤差が正規分布に従わない場合、最小二乗法によって得られたモデル関数はもっともらしくないことに注意する必要がある。偶然誤差が正規分布していない場合、系統誤差が無視できない位大きくそれをモデル関数に含めていない場合、測定データに正規分布から大きく外れた外れ値を含む場合などが該当する。

上記を含め、最小二乗法の理論的基盤には次のような前提が設けられている^[1][2][3]。

• 測定値の誤差には偏りがない。すなわち誤差の平均値は 0 である。
• 測定値の誤差の分散は既知である。ただし測定データごとに異なる値でも良い。
• 各測定は互いに独立であり、誤差の共分散は 0 である。
• 誤差は正規分布する。
• ${\displaystyle m}$  個のパラメータ^{[注釈 1]}（フィッティングパラメータ）を含むモデル関数 ${\displaystyle f}$  が知られていて、測定量の真の値を近似誤差なく再現することのできるパラメータが存在する。

基礎的な考え方

話を簡単にするため、測定値は ${\displaystyle x,y}$  の二次元の平面に分布するものとし、想定される分布（モデル関数）が ${\displaystyle y=f(x)}$  の形である場合を述べる。想定している関数 ${\displaystyle f}$  は、既知の関数 ${\displaystyle g(x)}$  の線型結合で表されていると仮定する。すなわち、

${\displaystyle f(x)=\sum _{k=1}^{m}a_{k}g_{k}(x)}$ 

例えば、 ${\displaystyle g_{k}(x)=x^{k-1}}$  は、多項式近似であり、特に ${\displaystyle m=2}$  の時は ${\displaystyle f(x)=a_{1}+a_{2}x}$  という直線による近似（線形回帰）になる。

今、測定で得られた、次のような数値の組の集合があるとする。

${\displaystyle \{(x_{1},y_{1}),\ (x_{2},y_{2}),\ \ldots ,\ (x_{n},y_{n})\}}$ 

これら ${\displaystyle (x,y)}$  の分布が、${\displaystyle y=f(x)}$  というモデル関数に従うと仮定した時、想定される理論値は

${\displaystyle (x_{1},f(x_{1})),(x_{2},f(x_{2})),...,(x_{n},f(x_{n}))}$ 

ということになり、実際の測定値との残差は、各 ${\displaystyle i}$  につき ${\displaystyle |y_{i}-f(x_{i})|}$  ということになる。

この残差の大きさは、${\displaystyle xy}$  平面上での ${\displaystyle (x_{i},y_{i})}$  と ${\displaystyle (x_{i},f(x_{i}))}$  との距離でもある。

ここで、理論値からの誤差の分散の推定値は残差の平方和

${\displaystyle J=\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}$ 

で与えられるから、${\displaystyle J}$  が最小になるように想定分布 ${\displaystyle f}$  を（すなわち ${\displaystyle a_{k}}$  を）、定めればよいということになる。

それには、上式は ${\displaystyle a_{k}}$  を変数とする関数と見なすことができるので、${\displaystyle J}$  を ${\displaystyle a_{k}}$  について偏微分したものを 0 と置く。こうして得られた ${\displaystyle m}$  個の連立方程式（正規方程式）を解き、${\displaystyle a_{k}}$  を決定すればよい。

一次方程式の場合

さらに簡単な例として、モデル関数を1次関数とし、

${\displaystyle f(x)=ax+b\,}$ 

とおくと、${\displaystyle a,b}$  は次式で求められる。

${\displaystyle a={\frac {n\textstyle \sum \limits _{k=1}^{n}x_{k}y_{k}-\sum \limits _{k=1}^{n}x_{k}\sum \limits _{k=1}^{n}y_{k}}{n\textstyle \sum \limits _{k=1}^{n}{x_{k}}^{2}-\left(\sum \limits _{k=1}^{n}x_{k}\right)^{2}}}}$ 

${\displaystyle b={\frac {\textstyle \sum \limits _{k=1}^{n}{x_{k}}^{2}\sum \limits _{k=1}^{n}y_{k}-\sum \limits _{k=1}^{n}x_{k}y_{k}\sum \limits _{k=1}^{n}x_{k}}{n\textstyle \sum \limits _{k=1}^{n}{x_{k}}^{2}-\left(\sum \limits _{k=1}^{n}x_{k}\right)^{2}}}}$ 

解法例

当てはめたい関数 ${\displaystyle f}$  は、

${\displaystyle f(x)=(g_{1}(x),g_{2}(x),\ldots ,g_{m}(x))(a_{1},a_{2},\ldots ,a_{m})^{\textrm {T}}}$ 

と表すことができる。上付き添字 T は転置行列を表す。最小にすべき関数 ${\displaystyle J}$  は

${\displaystyle {\begin{aligned}J({\boldsymbol {a}})&=(G{\boldsymbol {a}}-{\boldsymbol {y}})^{\textrm {T}}\,(G{\boldsymbol {a}}-{\boldsymbol {y}})\\&=\left({\begin{bmatrix}G&{\boldsymbol {y}}\end{bmatrix}}{\begin{bmatrix}{\boldsymbol {a}}\\-1\end{bmatrix}}\right)^{\textrm {T}}\,\left({\begin{bmatrix}G&{\boldsymbol {y}}\end{bmatrix}}{\begin{bmatrix}{\boldsymbol {a}}\\-1\end{bmatrix}}\right)\end{aligned}}}$ 

と表される。ここに ${\displaystyle G}$  は、${\displaystyle G_{ij}=g_{j}(x_{i})}$  なる成分を持つ ${\displaystyle n\times m}$  行列、${\displaystyle {\boldsymbol {y}}=(y_{1},y_{2},\ldots ,y_{n})^{\textrm {T}}}$ 、係数${\displaystyle {\boldsymbol {a}}=(a_{1},a_{2},\ldots ,a_{m})^{\textrm {T}}}$  である。

これの最小解 ${\displaystyle {\boldsymbol {a}}}$  は、${\displaystyle {\begin{bmatrix}G&{\boldsymbol {y}}\end{bmatrix}}^{\textrm {T}}{\begin{bmatrix}G&{\boldsymbol {y}}\end{bmatrix}}={\tilde {R}}^{\textrm {T}}{\tilde {R}}}$  を満たす上三角行列${\displaystyle {\tilde {R}}}$ の計算を経て、解 ${\displaystyle {\boldsymbol {a}}}$  を得ることができ、全体の計算量に無駄が少ない。下記の表式を用いると ${\displaystyle {\tilde {R}}={\begin{bmatrix}R&Q^{\textrm {T}}{\boldsymbol {y}}\\{\boldsymbol {0}}^{\textrm {T}}&\alpha \end{bmatrix}}}$  が得られ、${\displaystyle R{\boldsymbol {a}}=Q^{\textrm {T}}{\boldsymbol {y}}}$  から係数解 ${\displaystyle {\boldsymbol {a}}}$  を求める^{[注釈 2]}。

また前節で述べたように J を${\displaystyle {\boldsymbol {a}}}$ のそれぞれの成分で偏微分して 0 と置いた ${\displaystyle m}$  個の式（正規方程式）は行列を用いて、

${\displaystyle G^{\textrm {T}}G{\boldsymbol {a}}=G^{\textrm {T}}{\boldsymbol {y}}}$ 

と表される。これを正規方程式（英: normal equation）と呼ぶ。この正規方程式を解けば係数解 ${\displaystyle {\boldsymbol {a}}}$  が求まる。

係数解 ${\displaystyle {\boldsymbol {a}}}$  の解法には以下のようないくつかの方法がある。

• 逆行列で正規方程式を解く

  行列 ${\displaystyle G^{T}G}$  が正則行列（つまりフルランク）である場合は、解 ${\displaystyle {\boldsymbol {a}}=(G^{\textrm {T}}G)^{-1}G^{\textrm {T}}{\boldsymbol {y}}}$  は一意に求まる。ただし ${\displaystyle G^{T}G}$  の逆行列を明示的に求めることは通常は良い方法ではない。

計算量が小さい方法としてコレスキー分解^[4]（${\displaystyle G^{\textrm {T}}G=R^{\textrm {T}}R}$ 、${\displaystyle R}$  は ${\displaystyle m\times m}$  上三角行列）による三角行列分解を経て、最終的に ${\displaystyle R{\boldsymbol {a}}=R^{-{\textrm {T}}}G^{\textrm {T}}{\boldsymbol {y}}}$  を解けばよい。

数値的安定性確保のためには、積 ${\displaystyle G^{T}G}$  を経ない三角行列分解が良い。すなわち以下と同じくQR分解（直交分解）による ${\displaystyle G=QR}$  から、${\displaystyle R{\boldsymbol {a}}=Q^{\textrm {T}}{\boldsymbol {y}}}$  を解く。

• 直交分解で正規方程式を解く

  コレスキー分解の方法よりも計算量が大きいが、数値的に安定かつ汎用な方法として、QR分解や特異値分解（SVD）を用いる方法がある^[4]。これらの方法では計算の過程で積 ${\displaystyle G^{T}G}$  を必要としないため数値的安定性が高い。また ${\displaystyle G^{T}G}$  が正則行列でない（ランク落ちしている）場合は正規方程式の解が不定となるが、その場合でも、これらの手法では解 a のうちノルムが最も小さいものを求めることができる。特異値分解を用いる場合は、特異値のうち極めて小さい値を 0 とみなして計算することで数値計算上の大きな誤差の発生を防ぐことができる（英: truncated SVD）^[5]。

• 擬似逆行列を使う方法もあるが^[6]、計算効率が悪いため、特殊な場合（解析的な数式が必要な場合など）を除いてあまり用いられない。

拡張

多次元

想定される分布が媒介変数 t を用いて ${\displaystyle (x,y)=(f(t),g(t))}$  の形（あるいは ${\displaystyle f,g}$  は複数の媒介変数によって決まるとしても同様）であっても考察される。

すなわち、測定値 ${\displaystyle (x_{i},y_{i})}$  がパラメータ ${\displaystyle t_{i}}$  に対する ${\displaystyle (f(t_{i}),g(t_{i}))}$  を理論値として近似されているものと考えるのである。

この場合、各点の理論値 ${\displaystyle (f(t_{i}),g(t_{i}))}$  と測定値 ${\displaystyle (x_{i},y_{i})}$  の間に生じる残差は

${\displaystyle {\sqrt {(x_{i}-f(t_{i}))^{2}+(y_{i}-g(t_{i}))^{2}}}}$ 

である。故に、残差平方和は

${\displaystyle \sum _{i=1}^{n}\left\{(x_{i}-f(t_{i}))^{2}+(y_{i}-g(t_{i}))^{2}\right\}}$ 

となるから、この値が最小であるように、${\displaystyle f,g}$  を決定するのである。

このように、${\displaystyle n}$  組の ${\displaystyle (x,y)}$  の測定値 ${\displaystyle (x_{i},y_{i})(i=1,2,...,n)}$  を${\displaystyle n}$  組の ${\displaystyle (x_{1},x_{2},...,x_{m})}$  の測定値 ${\displaystyle (x_{1i},x_{2i},...,x_{mi})(i=1,2,...,n)}$  に拡張したものも考察することができる。

測定の誤差が既知の場合

${\displaystyle n}$  回の測定における誤差があらかじめ分かっている場合を考える。異なる測定方法で測定した複数のデータ列を結合する場合などでは、測定ごとに誤差が異なることはしばしばある。誤差が正規分布していると考え、その標準偏差 ${\displaystyle \sigma _{i}(i=1,2,\ldots ,n)}$  で、誤差の大きさを表す。すると、誤差が大きい測定より、誤差が小さい測定の結果により重みをつけて近似関数を与えるべきであるから、

${\displaystyle J'=\sum _{i=1}^{n}{\frac {(y_{i}-f(x_{i}))^{2}}{\sigma _{i}^{2}}}}$ 

を、最小にするように f を定める方がより正確な近似を与える。

毎回の測定が独立ならば、測定値の尤度は ${\displaystyle exp(-J')}$  に比例する。そこで、上記の ${\displaystyle J'}$  を最小にする ${\displaystyle f}$  は、最尤推定値であるとも解釈できる。また、${\displaystyle J'}$  は自由度 ${\displaystyle n-m}$  のカイ二乗分布^[7]に従うので、それを用いてモデル ${\displaystyle f}$  の妥当性を検定することもできる。

毎回の測定誤差が同じ場合、${\displaystyle J'}$  を最小にするのは ${\displaystyle J}$  を最小にするのと同じ意味になる。

非線形最小二乗法

詳細は「非線形最小二乗法」を参照

もし、${\displaystyle f}$  が、${\displaystyle a_{k}}$  の線型結合で表されないときは、正規方程式を用いた解法は使えず、反復解法を用いて数値的に ${\displaystyle a_{k}}$  の近似値を求める必要がある。例えば、ガウス・ニュートン法^[8]やレーベンバーグ・マーカート法^{[9][10][11][12][13]}が用いられる。とくにレーベンバーグ・マーカート法（英: Levenberg-Marquardt Method）は多くの多次元非線形関数でパラメータを発散させずに効率よく収束させる（探索する）方法として知られている^[10][11][12]。

異常値の除去

前提条件の節で述べたように、測定データを最小二乗法によって近似する場合、外れ値または異常値が含まれていると極端に近似の尤もらしさが低下することがある。また、様々な要因によって異常値を含む測定はしばしば得られるものである。

誤差が正規分布から極端に外れた異常値を取り除くための方法として修正トンプソン-τ法が用いられる^[14]。

関連項目

 

ウィキメディア・コモンズには、最小二乗法に関連するカテゴリがあります。

 

ウィキブックスに最小二乗法関連の解説書・教科書があります。

• (総最小二乗法)（英語版） (^[15][16])
• ガウス＝マルコフの定理^[17]
• 曲線あてはめ^[18]

脚注

[脚注の使い方]

注釈

1. ^ ${\displaystyle m}$  は、測定データの数よりも小さいとする。
2. ^ ${\displaystyle \alpha ^{2}=\min J({\boldsymbol {a}})}$ 。${\displaystyle G^{\textrm {T}}G}$  は正則行列と仮定。

出典

1. ^ ^{a b c} 中川徹; 小柳義夫『最小二乗法による実験データ解析』東京大学出版会、1982年、30頁。ISBN (4-13-064067-4)。 
2. ^ ^{a b c} Lawson, C. L., & Hanson, R. J. (1995). Solving least squares problems (Vol. 15). SIAM.
3. ^ ^{a b c} Bjorck, A. (1996). Numerical methods for least squares problems (Vol. 51). SIAM.
4. ^ ^{a b} 山本哲朗『数値解析入門』（増訂版）サイエンス社〈サイエンスライブラリ 現代数学への入門 14〉、2003年6月。ISBN (4-7819-1038-6)。 
5. ^ Hansen, P.C. The truncated SVD as a method for regularization. BIT 27, 534–553 (1987).
6. ^ 安川章. (2017). 科学実験/画像変換の近似計算に便利な 「疑似逆行列」 入門 できる人が使っている最小二乗法の一発フィット. インターフェース= Interface, 43(8), 142-146.
7. ^ Weisstein, Eric W. "Chi-Squared Distribution." From MathWorld--A Wolfram Web Resource. mathworld.wolfram.com/Chi-SquaredDistribution.html
8. ^ Magrenan, A. A., & Argyros, I. (2018). A contemporary study of iterative methods: convergence, dynamics and applications. Academic Press.
9. ^ Weisstein, Eric W. "Levenberg-Marquardt Method." From MathWorld--A Wolfram Web Resource. mathworld.wolfram.com/Levenberg-MarquardtMethod.html
10. ^ ^{a b} Moré, J. J. (1978). The Levenberg-Marquardt algorithm: implementation and theory. In Numerical analysis (pp. 105-116). Springer, Berlin, Heidelberg.
11. ^ ^{a b} Yu, H., & Wilamowski, B. M. (2011). Levenberg-marquardt training. Industrial electronics handbook, 5(12), 1.
12. ^ ^{a b} Ranganathan, A. (2004). The levenberg-marquardt algorithm. Tutoral on LM algorithm, 11(1), 101-110.
13. ^ 山下信雄, & 福島雅夫. (2000). Levenberg-Marquardt 法の局所収束性について. 数理解析研究所講究録, 1174, 161-168.
14. ^ Michele Rienzner (2020). Find Outliers with Thompson Tau (www.mathworks.com/matlabcentral/fileexchange/27553-find-outliers-with-thompson-tau), MATLAB Central File Exchange. Retrieved May 17, 2020.
15. ^ Van Huffel, S., & Vandewalle, J. (1991). The total least squares problem: computational aspects and analysis (Vol. 9). SIAM.
16. ^ Golub, G. H., & Van Loan, C. F. (1980). An analysis of the total least squares problem. SIAM journal on numerical analysis, 17(6), 883-893.
17. ^ Drygas, H. (2012). The coordinate-free approach to Gauss-Markov estimation (Vol. 40). Springer Science & Business Media.
18. ^ Motulsky, H., & Christopoulos, A. (2004). Fitting models to biological data using linear and nonlinear regression: a practical guide to curve fitting. Oxford University Press.