13. Orthogonale en orthonormale bases, Gram–Schmidt-procédé

13.1. Orthogonale bases

De standaardbasis van \(\RR^n\) heeft de handige eigenschap dat alle vectoren in de basis loodrecht op elkaar staan. Het is nuttig om algemener te kijken naar rijtjes vectoren met deze eigenschap.

Definitie 13.1 (Orthogonaal stel vectoren)

Een \(k\)-tal vectoren \((\vv_1,\ldots,\vv_k)\) in \(\RR^n\) is orthogonaal als voor alle \(i\ne j\) geldt \(\vv_i\cdot\vv_j=0\).

Merk op dat als \((\vv_1,\ldots,\vv_k)\) een orthogonaal rijtje vectoren is met \(\vv_i\ne\mathbf{0}\) voor alle \(i\), dit rijtje lineair onafhankelijk is. Gegeven een lineaire relatie \(c_1\vv_1+\cdots+c_k\vv_k=\mathbf{0}\) volgt namelijk voor elke \(i\) (door het inproduct met \(\vv_i\) te nemen) de vergelijking \(c_i(\vv_i\cdot\vv_i)=0\), en aangezien \(\vv_i\ne\mathbf{0}\) volgt \(\vv_i\cdot\vv_i\ne0\) en dus \(c_i=0\) voor \(i=1,\ldots,k\).

Wanneer \((\vv_1,\ldots,\vv_k)\) een orthogonaal \(k\)-tal vectoren is dat een basis is van een lineaire deelruimte \(W\) van \(\RR^n\), noemen we \((\vv_1,\ldots,\vv_k)\) een orthogonale basis van \(W\).

Stelling 13.1

Bekijk een lineaire deelruimte \(W\) van \(\RR^n\) met orthogonale basis \((\vv_1,\ldots,\vv_k)\). Voor elke vector \(\vx\in\RR^n\) is de orthogonale projectie van \(\vx\) op \(W\) gelijk aan

\[ p_W(\vx)=\sum_{i=1}^k \frac{\vx\cdot\vv_i}{\vv_i\cdot\vv_i}\vv_i. \]

Bewijs. Per definitie ligt \(p_W(\vx)\) in \(W\) en is dus te schrijven als

\[ p_W(\vx) = c_1\vv_1+\cdots+c_k\vv_k. \]

We schrijven \(\vx=\vx_W+\vx_{W^\perp}\) en merken op dat wegens \(\vx_{W^\perp}\cdot\vv_i=0\) geldt

\[ \vx\cdot\vv_i=\vx_W\cdot\vv_i=p_W(\vx)\cdot\vv_i. \]

Aangezien \(\vv_i\cdot\vv_j=0\) voor alle \(j\ne i\), is dit gelijk aan \(c_i(\vv_i\cdot\vv_i)\). We concluderen

\[ c_i = \frac{\vx\cdot\vv_i}{\vv_i\cdot\vv_i}. \]

Voorbeeld 13.1

Bekijk de lineaire deelruimte \(W=\opsp(\vv_1,\vv_2,\vv_3)\) in \(\RR^n\) met

\[\begin{split} \vv_1=\begin{pmatrix}1\\ 0\\ 2\\ 0\end{pmatrix},\quad \vv_2=\begin{pmatrix}0\\ 1\\ 0\\ 1\end{pmatrix},\quad \vv_3=\begin{pmatrix}-2\\ 0\\ 1\\ 0\end{pmatrix}. \end{split}\]

De bovenstaande basis is orthogonaal. We berekenen

\[ \vv_1\cdot\vv_1=5,\quad \vv_2\cdot\vv_2=2,\quad \vv_3\cdot\vv_3=5. \]

We gaan de orthogonale projectie van de vector \(\vx=\begin{pmatrix}1\\ 2\\ 3\\ 4\end{pmatrix}\) op \(W\) bepalen. We berekenen

\[ \vx\cdot\vv_1 = 7,\quad \vx\cdot\vv_2 = 6,\quad \vx\cdot\vv_3 = 1. \]

We concluderen

\[\begin{split} p_W(\vx) = \frac{7}{5}\vv_1+\frac{6}{2}\vv_2+\frac{1}{5}\vv_3 = \begin{pmatrix}1\\ 3\\ 3\\ 3\end{pmatrix}. \end{split}\]

We kunnen nu ook \(p_{W^\perp}(\vx)\) bepalen door

\[\begin{split} p_{W^\perp}(\vx) = \vx - p_W(\vx) = \begin{pmatrix}0\\ -1\\ 0\\ 1\end{pmatrix}. \end{split}\]

13.2. Orthonormale bases

Definitie 13.2 (Orthonormaal stel vectoren)

Een \(k\)-tal vectoren \((\vq_1,\ldots,\vq_k)\) in \(\RR^n\) is orthonormaal als voor alle \(i,j\) geldt

\[\begin{split} \vq_i\cdot\vq_j=\begin{cases} 1& \text{als }i=j,\\ 0& \text{als }i\ne j. \end{cases} \end{split}\]

Een orthonormaal \(k\)-tal vectoren is dus een orthogonaal \(k\)-tal eenheidsvectoren. Zo’n \(k\)-tal is automatisch lineair onafhankelijk. Als \(W\) de lineaire deelruimte is met basis \((\vq_1,\ldots,\vq_k)\), dan noemen we \((\vq_1,\ldots,\vq_k)\) een orthonormale basis van \(W\).

Vanuit een orthogonale basis \((\vv_1,\ldots,\vv_k)\) van een lineaire deelruimte \(W\) van \(\RR^n\) kunnen we een orthonormale basis \((\vq_1,\ldots,\vq_k)\) maken door de vectoren te schalen:

\[ \vq_i = \frac{1}{\|\vv_i\|}\vv_i. \]

Stelling 13.2

Bekijk een lineaire deelruimte \(W\) van \(\RR^n\) met orthonormale basis \((\vq_1,\ldots,\vq_k)\). Voor elke vector \(\vx\in\RR^n\) is de orthogonale projectie van \(\vx\) op \(W\) gelijk aan

\[ p_W(\vx)=\sum_{i=1}^k (\vx\cdot\vq_i)\vq_i. \]

13.3. Gram–Schmidt-procédé

Het is in toepassingen vaak handig om voor een lineaire deelruimte een orthogonale of zelfs orthonormale basis te gebruiken. Om uitgaande van een willekeurige basis een orthogonale basis te vinden, wordt het volgende algoritme gebruikt.

Algoritme 13.1 (Gram–Schmidt-orthogonalisatie)

Invoer: een lineair onafhankelijk stel vectoren \(\va_1,\ldots,\va_k\) in \(\RR^n\).

Uitvoer: een lineair onafhankelijk stel vectoren \(\vb_1,\ldots,\vb_k\) in \(\RR^n\) zodanig dat \((\vb_1,\ldots,\vb_j)\) een orthogonale basis is voor \(W_j=\opsp(\va_1,\ldots,\va_j)\) voor \(1\le j\le k\).

1. Definieer \(\vb_1=\va_1\).

2. Voor \(j=2,\ldots,k\): definieer \(\vb_j = \va_j-\sum_{i=1}^{j-1}\frac{\va_j\cdot\vb_i}{\vb_i\cdot\vb_i}\vb_i\).

In het bijzonder zien we dat als \(W\) de lineaire deelruimte is met basis \(\opsp(\va_1,\ldots,\va_k)\), het \(k\)-tal vectoren \((\vb_1,\ldots,\vb_k)\) een orthogonale basis voor \(W\) is.

Uit de definitie van \(\vb_j\) is af te leiden dat de lineaire deelruimte \(W_j\) voor \(j=1,\ldots,k\) steeds gelijk is aan \(\opsp(\vb_1,\ldots,\vb_j)\), en dat het \(k\)-tal vectoren \((\vb_1,\ldots,\vb_k)\) orthogonaal is. De formule in stap 2 van het bovenstaande algoritme komt neer op

\[ \vb_j = \va_j - p_{W_{j-1}}(\va_j) = p_{W_{j-1}^\perp}(\va_j). \]

Voorbeeld 13.2

We bepalen een orthogonale basis voor \(W=\opsp(\va_1,\va_2,\va_3)\), waarbij

\[\begin{split} \va_1=\begin{pmatrix}1\\ 1\\ 0\\ 1\end{pmatrix},\quad \va_2=\begin{pmatrix}2\\ 0\\ 1\\ 0\end{pmatrix},\quad \va_3=\begin{pmatrix}1\\ -1\\ 0\\ 0\end{pmatrix}. \end{split}\]

De eerste stap van het Gram–Schmidt-procédé is

\[\begin{split} \vb_1=\va_1=\begin{pmatrix}1\\ 1\\ 0\\ 1\end{pmatrix}. \end{split}\]

We berekenen

\[ \vb_1\cdot\vb_1 = 3,\quad \va_2\cdot\vb_1 = 2. \]

Dit geeft

\[\begin{split} \begin{aligned} \vb_2 &= \va_2 - p_{W_1}(\va_2)\\ &= \va_2 - \frac{\va_2\cdot\vb_1}{\vb_1\cdot\vb_1}\vb_1\\ &= \begin{pmatrix}2\\ 0\\ 1\\ 0\end{pmatrix} -\frac{2}{3}\begin{pmatrix}1\\ 1\\ 0\\ 1\end{pmatrix}\\ &= \begin{pmatrix}4/3\\ -2/3\\ 1\\ -2/3\end{pmatrix}. \end{aligned} \end{split}\]

We berekenen

\[ \vb_2\cdot\vb_2 = \frac{11}{3},\quad \va_3\cdot\vb_1 = 0,\quad \va_3\cdot\vb_2 = 2. \]

Dit geeft

\[\begin{split} \begin{aligned} \vb_3 &= \va_3 - p_{W_2}(\va_3)\\ &= \va_3 - \frac{\va_3\cdot\vb_1}{\vb_1\cdot\vb_1}\vb_1 - \frac{\va_3\cdot\vb_2}{\vb_2\cdot\vb_2}\vb_2\\ &= \begin{pmatrix}1\\ -1\\ 0\\ 0\end{pmatrix} - \frac{0}{3}\begin{pmatrix}1\\ 1\\ 0\\ 1\end{pmatrix} - \frac{2}{11/3}\begin{pmatrix}4/3\\ -2/3\\ 1\\ -2/3\end{pmatrix}\\ &= \begin{pmatrix}3/11\\ -7/11\\ -6/11\\ 4/11\end{pmatrix}. \end{aligned} \end{split}\]

We concluderen dat \((\vb_1,\vb_2,\vb_3)\) een orthogonale basis voor \(W\) is.

Het Gram–Schmidt-procédé kan eenvoudig worden aangepast om een orthonormale basis \((\vq_1,\ldots,\vq_k)\) te bepalen. Dit kan ofwel door achteraf te normaliseren (\(\vq_j = \frac{1}{\|\vb_j\|}\vb_j\)) ofwel door deze berekening in stap 2 toe te voegen. In het tweede geval komt het algoritme er als volgt uit te zien:

Algoritme 13.2 (Gram–Schmidt-orthonormalisatie)

Invoer: een lineair onafhankelijk stel vectoren \(\va_1,\ldots,\va_k\) in \(\RR^n\).

Uitvoer: een lineair onafhankelijk stel vectoren \(\vq_1,\ldots,\vq_k\) in \(\RR^n\) zodanig dat \((\vq_1,\ldots,\vq_j)\) een orthonormale basis is voor \(W_j=\opsp(\va_1,\ldots,\va_j)\) voor \(1\le j\le k\).

1. Definieer \(\vq_1=\frac{1}{\|\va_1\|}\va_1\).

2. Voor \(j=2,\ldots,k\):

   a. Definieer \(\vb_j = \va_j-\sum_{i=1}^{j-1}(\va_j\cdot\vq_i)\vq_i\).

   b. Definieer \(\vq_j = \frac{1}{\|\vb_j\|}\vb_j\).

in dat geval kan de formule in stap 2 vereenvoudigd worden tot \(\vb_j = \va_j-\sum_{i=1}^{j-1}(\va_j\cdot\vq_i)\vq_i\).

Voorbeeld 13.3

In het vorige voorbeeld geeft achteraf normaliseren na Gram–Schmidt-orthogonalisatie de volgende orthonormale basis voor \(W\):

\[\begin{split} \begin{aligned} \vq_1 &= \frac{1}{\sqrt{3}}\begin{pmatrix}1\\ 1\\ 0\\ 1\end{pmatrix},\\ \vq_2 &= \frac{1}{\sqrt{33}}\begin{pmatrix}4\\ -2\\ 3\\ -2\end{pmatrix},\\ \vq_3 &= \frac{1}{\sqrt{110}}\begin{pmatrix}3\\ -7\\ -6\\ 4\end{pmatrix}. \end{aligned} \end{split}\]

Voorbeeld 13.4

We bepalen een orthogonale basis voor \(W=\opsp(\va_1,\va_2,\va_3)\), waarbij

\[\begin{split} \va_1=\begin{pmatrix}1\\ 0\\ 2\end{pmatrix},\quad \va_2=\begin{pmatrix}1\\ 1\\ 1\end{pmatrix},\quad \va_3=\begin{pmatrix}0\\ 1\\ 1\end{pmatrix}. \end{split}\]

(Merk op dat \(W\) hier \(\RR^3\) is, maar dat gebruiken we niet.)

We berekenen

\[ \va_1\cdot\va_1 = 5. \]

Dit geeft

\[\begin{split} \vq_1 = \frac{1}{\sqrt5}\begin{pmatrix}1\\ 0\\ 2\end{pmatrix}. \end{split}\]

Vervolgens berekenen we

\[\begin{split} \begin{aligned} \va_2\cdot\vq_1 &= \frac{3}{\sqrt5},\\ \vb_2 &= \va_2-(\va_2\cdot\vq_1)\vq_1\\ &= \begin{pmatrix}1\\ 1\\ 1\end{pmatrix} - \frac{3}{5}\begin{pmatrix}1\\ 0\\ 2\end{pmatrix}\\ &= \begin{pmatrix}2/5\\ 1\\ -1/5\end{pmatrix},\\ \vb_2\cdot\vb_2 &= \frac{6}{5}. \end{aligned} \end{split}\]

Dit geeft

\[\begin{split} \vq_2 = \sqrt{\frac{5}{6}}\begin{pmatrix}2/5\\ 1\\ -1/5\end{pmatrix} = \frac{1}{\sqrt{30}}\begin{pmatrix}2\\ 5\\ -1\end{pmatrix}. \end{split}\]

Vervolgens berekenen we

\[\begin{split} \begin{aligned} \va_3\cdot\vq_1 &= \frac{2}{\sqrt5},\\ \va_3\cdot\vq_2 &= \frac{4}{\sqrt{30}},\\ \vb_3 &= \va_3-(\va_3\cdot\vq_1)\vq_1-(\va_3\cdot\vq_2)\vq_2\\ &= \begin{pmatrix}0\\ 1\\ 1\end{pmatrix} -\frac{2}{5}\begin{pmatrix}1\\ 0\\ 2\end{pmatrix} -\frac{4}{30}\begin{pmatrix}2\\ 5\\ -1\end{pmatrix}\\ &=\begin{pmatrix}-2/3\\ 1/3\\ 1/3\end{pmatrix},\\ \vb_3\cdot\vb_3 &= \frac{2}{3}. \end{aligned} \end{split}\]

Dit geeft

\[\begin{split} \vq_3 = \sqrt{\frac{3}{2}}\begin{pmatrix}-2/3\\ 1/3\\ 1/3\end{pmatrix} = \frac{1}{\sqrt6}\begin{pmatrix}-2\\ 1\\ 1\end{pmatrix}. \end{split}\]

We concluderen dat \((\vq_1,\vq_2,\vq_3)\) een orthonormale basis voor \(W\) is.