最小二乗法とは？
さいしょうにじょうほう
最小二乗法とは、データ点と予測値の差の二乗和を最小化することでモデルの最適なパラメータを求める手法です。
最小二乗法（method of least squares）は、観測データと数式モデルの「ずれ」を最小化することで、データに最もよく当てはまるパラメータを求める推定法です。18世紀末にガウスとルジャンドルによって独立に考案され、現在も回帰分析の根幹をなす技法です。
基本的な考え方：各データ点 (xᵢ, yᵢ) に対して、モデルの予測値 ŷᵢ との差（残差）を求め、その二乗の総和 Σ(yᵢ − ŷᵢ)² を最小にするパラメータを選びます。二乗を使う理由は、正負の残差を打ち消し合わせないためと、外れ値に対して感度を高めるためです。
線形回帰への適用：単純な直線 y = ax + b を当てはめる場合、偏微分で連立方程式（正規方程式）を解くことで a と b を解析的に求めることができます。重回帰の場合は行列を用いて β = (XᵀX)⁻¹Xᵀy として一括計算します。
長所と限界：計算が単純で解釈しやすい反面、外れ値の影響を受けやすく、誤差の分布が正規分布に近い場合に最も有効です。外れ値への耐性を高めたい場合は、残差の絶対値の和を最小化する最小絶対値法（LAD）なども使われます。
使い方・例文
気温と電力消費量のデータから直線を当てはめ、翌日の気温予報をもとに電力需要を予測するような場面で最小二乗法が活用されます。
この用語をシェア
最終更新: