Mínimos Cuadrados y Proyecciones

¡Bienvenidos, espero que estén genial!

El método de los mínimos cuadrados busca hallar la mejor aproximación posible, es decir, el vector más cercano a \(b\) que satisfaga la ecuación.

Y como sabemos, el menor trayecto que conecta a dos vectores es una recta, por tanto, el concepto de los mínimos cuadrados está estrechamente relacionado con las proyecciones.

Ya sabemos cómo hallar la proyección de un vector mediante su \(TL\). En esta ocasión veremos cómo hacerlo a través de mínimos cuadrados.

Es decir, resolvemos el sistema \(A^{T} A z=A^{T} b\). El mismo que vimos en el tema anterior, solo que con \(z\) en lugar de \(x\).

Luego, multiplicamos el vector \(z\) obtenido de la solución del sistema por la matriz \(A\), y tenemos su proyección.

Veamos un ejemplo:

Considere \(H={span}\left\{\left[\begin{array}{l}1 \\ 2 \\ 3\end{array}\right],\left[\begin{array}{c}4 \\ 1 \\ -2\end{array}\right]\right\}\) y \(b=\left[\begin{array}{l}2 \\ 0 \\ 0\end{array}\right]\). Calcule \(P_{H} b\).

Definiendo \(A=\left[\begin{array}{cc}1 & 4 \\ 2 & 1 \\ 3 & -2\end{array}\right]\), solo tenemos que resolver:

\[A^{T} A z=\left[\begin{array}{ccc}1 & 2 & 3 \\ 4 & 1 & -2\end{array}\right]\left[\begin{array}{cc}1 & 4 \\ 2 & 1 \\ 3 & -2\end{array}\right] z=\left[\begin{array}{ccc}1 & 2 & 3 \\ 4 & 1 & -2\end{array}\right]\left[\begin{array}{l}2 \\ 0 \\ 0\end{array}\right]=A^{T} b\]

\[\left[\begin{array}{cc}14 & 0 \\ 0 & 21\end{array}\right] z=\left[\begin{array}{l}2 \\ 8\end{array}\right]\]

\[z=\left[\begin{array}{c}1 / 7 \\ 8 / 21\end{array}\right]\]

Siendo así,

\[P_{H} b=A z=\left[\begin{array}{cc}1 & 4 \\ 2 & 1 \\ 3 & -2\end{array}\right]\left[\begin{array}{c}\frac{1}{7} \\ \frac{8}{21}\end{array}\right]=\left[\begin{array}{c}5 / 3 \\ 2 / 3 \\ -1 / 3\end{array}\right]\]

Nota 1: si la base \(H\) es ortogonal, el producto \(A^{T} A\) será una matriz diagonal y el sistema será resuelto fácilmente. Es decir, lo que ocurrió en este ejemplo.

Nota 2: si la base \(H\) es ortonormal, tenemos que \(P_{H}=A A^{T}\). La proyección de \(b\) sobre \(H\) es dada por \(P_{H} b=A A^{T} b\).

Cómo hallar la matriz proyección

A pesar de que este método está más orientado a obtener directamente la proyección de un determinado vector, podemos obtener la matriz de una proyección en una dirección \(v\) a través de la fórmula:

\[P_{v}=\frac{v v^{T}}{v^{T} v}\]

Esta es una consecuencia directa de la fórmula de los mínimos cuadrados. Cabe destacar que esta fórmula sólo sirve para proyecciones sobre una recta, que es generada por un único vector.

Al ser un poco confuso, sobretodo entender \(v\) y \(v^{T}\), veamos un ejemplo:

Determine la matriz de la proyección sobre la recta \(x+3 y=0\) en el \(\mathbb{R}^{2}\).

Vamos a hallar el vector generador de dicha recta, para aplicarlo en la fórmula:

\[x+3 y=0 \Longrightarrow x=-3 y\]

\[(x, y)=(-3 y, y)=y(-3,1)\]

\[P_{v}=\frac{v v^{T}}{v^{T} v}=\frac{\left(\left[\begin{array}{c}-3 \\ 1\end{array}\right]\left[\begin{array}{ll}-3 & 1\end{array}\right]\right)}{\left[\begin{array}{cc}-3 & 1\end{array}\right]\left[\begin{array}{c}-3 \\ 1\end{array}\right]}=\frac{\left[\begin{array}{cc}9 & -3 \\ -3 & 1\end{array}\right]}{10}=\left[\begin{array}{cc}\frac{9}{10} & -\frac{3}{10} \\ -\frac{3}{10} & \frac{1}{10}\end{array}\right]\]

Es más sencillo, ¿verdad? Pero eso no era todo, todavía falta.

Ya sabemos obtener la matriz de una proyección en un subespacio de dimensión \(1\). Pero también podemos hacer una pequeña adaptación para obtener la matriz que proyecta un vector sobre el complemento ortogonal de una recta.

Sé que es un poco confuso, pero presta atención a la explicación. Imagina que quieres proyectar sobre un plano en el \(\mathbb{R}^{3}\). Solo tienes que encontrar el complemento ortogonal de dicho plano (que será un recta), y colocarlo en la fórmula para hallar la matriz que proyecta en esa recta. Y, finalmente, restas de la matriz identidad.

\[P_{H^{\perp}}=I-P_{H}\]

Este gráfico te será de gran ayuda:

Nota: del gráfico podemos notar que la suma vectorial de \(P_{H} b\) con \(P_{H^{\perp}} b\) es igual a \(b\).

Entonces, si quisiéramos saber la matriz de una proyección en el complemento ortogonal de la recta \(x+3 y=0\) del último ejemplo, tendríamos que hacer la siguiente operación:

\[P_{H^{\perp}}=I-P_{H}\] 

\[P_{H^{\perp}}=\left[\begin{array}{ll}1 & 0 \\ 0 & 1\end{array}\right]-\left[\begin{array}{cc}\frac{9}{10} & -\frac{3}{10} \\ -\frac{3}{10} & \frac{1}{10}\end{array}\right]=\left[\begin{array}{cc}\frac{1}{10} & \frac{3}{10} \\ \frac{3}{10} & \frac{9}{10}\end{array}\right]\]

En los ejercicios encontrarás algunos casos similares. Notarás que es más rápido que a través de \(TL\). La principal diferencia entre estos métodos es que por matrices hallamos directamente el vector proyectado, lo cual es más rápido. Por otro lado, usando \(TL\) encontramos una fórmula que puede ser usada con cualquier vector, pero toma más tiempo.

¡Puedes usar el método de tu preferencia, lo importante es que sigas practicando!