Mínimos Cuadrados

¡Bienvenidos, espero que estén genial!

 

A continuación te presento un problema bastante complicado:

 

Encuentre el vector \(x\) que resuelve el siguiente sistema:

 

\[\left[\begin{array}{ll}1 & 3 \\ 2 & 6\end{array}\right] x=\left[\begin{array}{l}1 \\ 1\end{array}\right]\]

 

El primer paso será escalonar el sistema, entonces tendremos:

 

\[\left[\begin{array}{cc|c}1 & 3 & 1 \\ 2 & 6 & 1\end{array}\right] \stackrel{L_{2} \leftarrow L_{2}-2 L_{1}}{\longrightarrow}\left[\begin{array}{cc|c}1 & 3 & 1 \\ 0 & 0 & -1\end{array}\right]\]

 

Que es lo mismo que:

 

\[\left[\begin{array}{ll}1 & 3 \\ 0 & 0\end{array}\right]\left[\begin{array}{l}x_{1} \\ x_{2}\end{array}\right]=\left[\begin{array}{c}1 \\ -1\end{array}\right]\]

 

Espera, pero \(0 x_{1}+0 x_{2}=-1\). Eso es imposible.

 

Pues sí amigos, en esta ocasión aprenderemos a resolver problemas imposibles, es decir, sin solución.

 

Cambiando un poco de tema, vamos a hablar sobre los sistemas lineales. Por ejemplo, el sistema \(A x=b\). ¿Cuando este sistema tiene solución?

 

Vamos a considerar \(A_{k \times n}=\left[\begin{array}{ccc}\uparrow & & \uparrow \\ a_{1} & \cdots & a_{n} \\ \downarrow & & \downarrow\end{array}\right]\) y \(x=\left[\begin{array}{c}x_{1} \\ \vdots \\ x_{n}\end{array}\right]\). Y así, tenemos el siguiente sistema:

 

\[\left[\begin{array}{ccc}\uparrow & & \uparrow \\ a_{1} & \cdots & a_{n} \\ \downarrow & & \downarrow\end{array}\right]\left[\begin{array}{c}x_{1} \\ \vdots \\ x_{n}\end{array}\right]=b\]

 

Que es igual que:

 

\[x_{1}\left[\begin{array}{c}\uparrow \\ a_{1} \\ \downarrow\end{array}\right]+\ldots+x_{n}\left[\begin{array}{c}\uparrow \\ a_{n} \\ \downarrow\end{array}\right]=b \quad donde \quad x_{1}, \ldots, x_{n} \in \mathbb{R}\]

 

Entonces, el sistema original \(A x=b\), tiene solución solamente si \(b\) puede ser escrito como una \(CL\) de las columnas de la matriz \(A\).

 

Entonces, \(A x=b\) tiene solución \(\Leftrightarrow b \in \operatorname{span}\left\{\left[\begin{array}{c}\uparrow \\ a_{1} \\ \downarrow\end{array}\right], \ldots,\left[\begin{array}{c}\uparrow \\ a_{n} \\ \downarrow\end{array}\right]\right\}\).

 

Geométricamente, lo que ocurre es esto:

 

 

Donde \(V=\operatorname{span}\left\{\left[\begin{array}{c}\uparrow \\ a_{1} \\ \downarrow\end{array}\right], \ldots,\left[\begin{array}{c}\uparrow \\ a_{n} \\ \downarrow\end{array}\right]\right\}\)

 

En este caso, el sistema tiene solución, porque \(b \in \operatorname{span}\left\{\left[\begin{array}{c}\uparrow \\ a_{1} \\ \downarrow\end{array}\right], \ldots,\left[\begin{array}{c}\uparrow \\ a_{n} \\ \downarrow\end{array}\right]\right\}\).

 

Si, por otro lado, el sistema NO TIENE SOLUCIÓN, porque \(b \notin \operatorname{span}\left\{\left[\begin{array}{c}\uparrow \\ a_{1} \\ \downarrow\end{array}\right], \ldots,\left[\begin{array}{c}\uparrow \\ a_{n} \\ \downarrow\end{array}\right]\right\}\), tendremos el siguiente gráfico:

 

 

Fijate que el vector \(b\) está fuera del plano.

 

A este punto quería llegar. Cuando sucede este último caso, realmente no se puede hallar el valor exacto, pero podemos encontrar una aproximación que puede satisfacer el sistema.

 

En el problema que estábamos trabajando, no existe \(x\) que satisfaga \(A x=b\). Ya que no existe solución, vamos a intentar tomar el valor más próximo de \(b\) que pertenezca al plano \(V\), es decir, el valor que exprese la menor distancia posible entre \(b\) y \({span}\left\{\left[\begin{array}{c}\uparrow \\ a_{1} \\ \downarrow\end{array}\right], \ldots,\left[\begin{array}{c}\uparrow \\ a_{n} \\ \downarrow\end{array}\right]\right\}\).

 

¿Y cuál es la menor distancia entre ambos puntos? ¡Una recta! Mira:

 

 

En este caso tenemos que, el vector más próximo de \(b\) perteneciente al espacio \(V\) es el vector \(\tilde{b}\).

 

Si resolvemos el sistema \(A \bar{x}=\tilde{b}\), tendrá solución. Cabe resaltar que \(\bar{x} \neq x\). \(\bar{x}\) es la mejor aproximación que podemos hacer para \(x\), mas no es lo mismo, porque la \(x\) original no existe.

 

Lo que hicimos fue proyectar el vector \(b\) en \(V\), entonces podemos concluir que \(A \bar{x}=\tilde{b}=P_{V}(b)\).

 

¿Pero…, quién es \(\tilde{b}\)? Pues bien, según el teorema:

 

 

Básicamente, el primer teorema quiere decir: resuelva la nueva ecuación

 

\[A^{T} A \bar{x}=A^{T} b\]

 

y encuentre \(\bar{x}\). Cabe resaltar que hallando \(\bar{x}\), podemos calcular la proyección de \(b\) en \(H\) haciendo \(A \bar{x}\), ya que \(A \bar{x}=\tilde{b}=P_{H}(b)\).

 

También se pueden usar mínimos cuadrados para calcular las proyecciones.

 

Uno de los usos del método de los mínimos cuadrados, por ejemplo, es hallar una curva que mejor se aproxime a un determinado conjunto de puntos. Si alguna vez lo has hecho, sabrás que no todos los puntos quedan perfectos, y muchos de ellos quedan fuera de la curva. Cuando trazamos la recta, por ejemplo, que toca la mayoría de los puntos, es un ejercicio de mínimos cuadrados. Presta atención:

 

Dados los puntos

 

\[(-1,0),(0,1),(1,2),(2,1)\]

 

Encuentre la recta que mejor se aproxime a dichos puntos:

 

La ecuación de la recta es:

 

\[y=a x+b\]

 

Entonces, si lo ponemos en un gráfico, claramente veremos que no todos los puntos pasarán por la recta. Sustituyendo los puntos en la ecuación:

 

\[\left\{\begin{array}{c}-a+b=0 \\ 0 \cdot a+b=1 \\ a+b=2 \\ 2 a+b=1\end{array}\right.\]

 

A simple vista, vemos que el sistema es imposible. Si tienes alguna duda, puedes intentar resolverlo. Entonces, como el sistema es imposible, podemos ver que se trata de mínimos cuadrados. ¿Cómo vamos a aplicarlo?

 

Lo primero que haremos es pasar el sistema a su forma matricial:

 

\[\left[\begin{array}{cc}-1 & 1 \\ 0 & 1 \\ 1 & 1 \\ 2 & 1\end{array}\right]\left[\begin{array}{l}a \\ b\end{array}\right]=\left[\begin{array}{l}0 \\ 1 \\ 2 \\ 1\end{array}\right]\]

 

Teniendo en cuenta que si tomamos \(A=\left[\begin{array}{cc}-1 & 1 \\ 0 & 1 \\ 1 & 1 \\ 2 & 1\end{array}\right], x=\left[\begin{array}{l}a \\ b\end{array}\right], b=\left[\begin{array}{l}0 \\ 1 \\ 2 \\ 1\end{array}\right]\), tendremos al sistema en su forma:

 

\[A x=b\]

Que es el sistema al que estamos acostumbrados. Entonces, tenemos que aplicar la fórmula de los mínimos cuadrados:

 

\[A^{T} A \bar{x}=A^{T} b\]

 

Y así, hallaremos un \(\bar{x}=\left[\begin{array}{l}a_{1} \\ b_{1}\end{array}\right]\), que mejor satisfaga al sistema de ecuaciones original.

 

\[A^{T}=\left[\begin{array}{cccc}-1 & 0 & 1 & 2 \\ 1 & 1 & 1 & 1\end{array}\right]\]

 

Haciendo:

 

\[A^{T} A \bar{x}=\left[\begin{array}{cccc}-1 & 0 & 1 & 2 \\ 1 & 1 & 1 & 1\end{array}\right]\left[\begin{array}{cc}-1 & 1 \\ 0 & 1 \\ 1 & 1 \\ 2 & 1\end{array}\right] \bar{x}=\left[\begin{array}{cccc}-1 & 0 & 1 & 2 \\ 1 & 1 & 1 & 1\end{array}\right]\left[\begin{array}{l}0 \\ 1 \\ 2 \\ 1\end{array}\right]=A^{T} b\]

 

\[\left[\begin{array}{ll}6 & 2 \\ 2 & 4\end{array}\right] \bar{x}=\left[\begin{array}{l}4 \\ 4\end{array}\right]\]

 

Resolviendo el sistema:

 

\[\left[\begin{array}{ll}6 & 2 \\ 2 & 4\end{array}\right]\left[\begin{array}{l}a_{1} \\ b_{1}\end{array}\right]=\left[\begin{array}{l}4 \\ 4\end{array}\right] \Rightarrow\]

 

\[\left\{\begin{array}{l}6 a_{1}+2 b_{1}=4 \\ 2 a_{1}+4 b_{1}=4\end{array}\right.\]

 

Resolviendo, hallamos que:

 

\[a_{1}=\frac{2}{5}\]

 

\[b_{1}=\frac{4}{5}\]

 

Y por tanto, la recta que mejor se aproxima a los puntos del enunciado es:

 

\[y=\frac{2}{5} x+\frac{4}{5}\]

🎯

¡Acabas de Aprender la Teoría - Ahora Practica!

Domina Producto Interno con ejercicios interactivos en Calculingo y gana XP.

Ejercicios Paso a Paso Sistema de XP Seguimiento de Progreso
Empezar Gratis

100% Gratis