Mínimos quadrados: as equações normais

O texto-fonte do card, para propor uma correção ou escrever um card no mesmo formato. copiar

\cardid{thm-mq}
\cardtipo{teorema}
\cardtitulo{Mínimos quadrados: as equações normais}
\cardtags{}
\cardautor{}

\cardrequer{def-sist, ex-produto-escalar}
\cardrequerdem{thm-aprox, prop-formula}
\cardveja{}

\begin{cartao}

Um sistema $AX = b$ sem solução (em geral, com mais equações que incógnitas) pede
a pergunta seguinte: qual $X$ torna $AX$ o mais próximo possível de $b$?

\emph{Sejam
$A\in\Mat{m}{n}$ e $b\in\R^m$, com o produto escalar. $X_0$ minimiza $\|AX-b\|$ se e
somente se}
\[A^tA\,X_0 = A^tb\qquad\text{(equações normais).}\]
\emph{Se as colunas de $A$ são LI, $A^tA$ é invertível e a solução é única.}

\begin{demonstracao}

Os vetores $AX$ percorrem $S = \Ima(T_A)$. Pelo \vejacard{thm-aprox}, $X_0$ minimiza se e
somente se $AX_0 = P_Sb$, e pela \vejacard{prop-formula} isso equivale a
$b-AX_0\perp S$. Como $S$ é gerado pelas colunas $a_j$ de $A$, isso diz
$a_j^t(b-AX_0) = 0$ para todo $j$, isto é, $A^t(b-AX_0) = 0$.

Se as colunas são LI e $A^tAX = 0$, então $\|AX\|^2 = X^tA^tAX = 0$, logo $AX = 0$ e $X = 0$:
$A^tA$ é injetora, logo invertível.

\medskip
\noindent\textbf{Outra dedução, por cálculo diferencial.} Esta dedução não usa projeções. Seja
\[f(X) = \|AX-b\|^2 = X^tA^tAX-2b^tAX+b^tb,\qquad X\in\R^n.\]
É uma função quadrática de $n$ variáveis. Seu gradiente é $\nabla f(X) = 2A^tAX-2A^tb$
(derive termo a termo, usando que $A^tA$ é simétrica). Num ponto de mínimo o gradiente se
anula: $A^tAX_0 = A^tb$. Para ver que todo zero do gradiente é mínimo, expanda em torno de
$X_0$: para $H\in\R^n$,
\[f(X_0+H) = f(X_0)+\nabla f(X_0)^tH+H^tA^tAH = f(X_0)+\|AH\|^2\geq f(X_0).\]
A igualdade só vale quando $AH = 0$; com colunas LI, só para $H = 0$.

\smallskip
\noindent O que esta rota esconde: que $AX_0$ é a projeção ortogonal de $b$, e que o resíduo
é perpendicular às colunas --- que é o que torna a resposta geométrica e reaproveitável.

\end{demonstracao}

\end{cartao}