12. Orthogonaal complement en orthogonale projectie

12.1. Getransponeerde van een matrix

We zullen in de context van orthogonaliteit regelmatig de getransponeerde van een matrix gebruiken.

Definitie 12.1 (Getransponeerde van een matrix)

De getransponeerde van een \(m\times n\)-matrix \(A\) is de \(n\times m\)-matrix \(A^\top\) gedefinieerd door

\[ (A^\top)_{i,j} = A_{j,i}. \]

Voorbeeld 12.1

De getransponeerde van de matrix \(\begin{pmatrix}1& 2& 3\\ 4& 5& 6\end{pmatrix}\) is de matrix \(\begin{pmatrix}1& 4\\ 2& 5\\ 3& 6\end{pmatrix}\).

Opmerking 12.1

We passen dit soms ook toe op vectoren: als \(\vx\) een kolomvector is, dan noteren we de rijvector met dezelfde coëfficiënten als \(\vx^\top\). Er geldt dan

\[ \vx\cdot\vy=\vx^\top\vy, \]

waarbij we voor het gemak de rechterkant van de vergelijking (die eigenlijk een \(1\times 1\)-matrix is) interpreteren als een scalair.

De getransponeerde heeft een handige eigenschap met betrekking tot het inproduct.

Stelling 12.1

Als \(A\) een \(m\times n\)-matrix is, dan gelden voor alle vectoren \(\vx\in\RR^m\) en \(\vy\in\RR^n\) de gelijkheden

\[ \vx\cdot A\vy = A^\top\vx\cdot \vy \quad\text{en}\quad A\vy\cdot\vx = \vy\cdot A^\top\vx. \]

Bewijs. Uit de definitie van het inproduct volgt dat alle uitdrukkingen in bovenstaande twee vergelijkingen gelijk zijn aan \(\sum_{i=1}^m\sum_{j=1}^n x_i A_{i,j} y_j\).

Orthogonaal complement van een lineaire deelruimte

Definitie 12.2 (Orthogonaal complement)

Gegeven een lineaire deelruimte \(W\) van \(\RR^n\) is het orthogonaal complement van \(W\) de verzameling van alle vectoren die loodrecht staan op alle vectoren in \(W\):

\[ W^\perp = \{\vz\in\RR^n\mid\text{voor alle }\vw\in W\text{ geldt } \vw\cdot\vz=0\}. \]

Het is niet moeilijk na te gaan dat \(W^\perp\) inderdaad een lineaire deelruimte van \(\RR^n\) is. Verder merken we op dat als \((\va_1,\ldots,\va_k)\) een basis van \(W\) is (of algemener een rijtje vectoren dat \(W\) opspant), een vector \(\vz\in\RR^n\) loodrecht staat op alle vectoren in \(W\) precies wanneer geldt \(\va_1\cdot\vz=\cdots=\va_k\cdot\vz=0\). Dit geeft aanleiding tot de volgende methode om (een basis voor) het orthogonaal complement van een lineaire deelruimte te bepalen.

Algoritme 12.1 (Bepalen van het orthogonaal complement)

Gegeven een lineaire deelruimte \(W\) van \(\RR^n\) opgespannen door een rijtje vectoren \((\va_1,\ldots,\va_k)\) vormen we de matrix \(A\) met kolommen \(\va_1,\ldots,\va_k\). Het orthogonaal complement \(W^\perp\) is dan de kern van \(A^\top\).

We merken op dat \(A^\top\) niets anders is dan de matrix met als rijen de vectoren \(\va_1,\ldots,\va_k\); de matrix \(A^\top\) in onze notatie is dus de matrix \(A\) uit het algoritme in paragraaf 6.1 van [FB95].

Voorbeeld 12.2

Bekijk de lineaire deelruimte \(W\) van \(\RR^3\) gedefinieerd als

\[ W=\opsp((1,2,1),(2,1,-1)). \]

We berekenen \(W^\perp\) als de kern van de matrix met deze vectoren als rijen:

\[\begin{split} \begin{aligned} W^\perp &= \ker\begin{pmatrix}1& 2& 1\\ 2& 1& -1\end{pmatrix}\\ &= \ker\begin{pmatrix}1& 2& 1\\ 0& -3& -3\end{pmatrix}. \end{aligned} \end{split}\]

De variabele \(x_3\) is vrij; door \(x_3=1\) te kiezen, zien we dat \(W^\perp\) wordt opgespannen door de vector \((1,-1,1)\).

Stelling 12.2 (Eigenschappen van het orthogonaal complement)

Het orthogonaal complement \(W^\perp\) van een lineaire deelruimte \(W\) van \(\RR^n\) heeft de volgende eigenschappen:

1. \(W^\perp\) is een lineaire deelruimte van \(\RR^n\).

2. \(\dim W^\perp=n-\dim W\).

3. \((W^\perp)^\perp=W\).

4. Elke vector \(\vb\in\RR^n\) is op precies één manier te schrijven als \(\vb_W+\vb_{W^\perp}\) met \(\vb_W\in W\) en \(\vb_{W^\perp}\in W^\perp\).

Bewijs. Zie het college of Theorem 6.1 in het boek.

Orthogonale projectie op een lineaire deelruimte

Definitie 12.3 (Projectie van een vector op een lineaire deelruimte)

De vector \(\vb_W\) uit bovenstaande stelling heet de orthogonale projectie van \(\vb\) op \(W\).

Algoritme 12.2 (Projecteren van een vector)

Gegeven een lineaire deelruimte \(W\) en een vector \(\vb\) in \(\RR^n\):

1. Kies een basis \((\vv_1,\ldots,\vv_k)\) voor \(W\).

2. Bepaal een basis \((\vv_{k+1},\ldots,\vv_n)\) voor \(W^\perp\).

3. Schrijf \(\vb=b_1\vv_1+\cdots+b_k\vv_k+b_{k+1}\vv_{k+1}+b_n\vv_n\).

4. De orthogonale projectie van \(\vb\) op \(W\) is \(\vb_W=b_1\vv_1+\cdots+b_k\vv_k\).

Voorbeeld 12.3

Neem \(\vb=(2,1,5)\) en \(W\) in het vorige voorbeeld. We kiezen

\[ \vv_1=(1,2,1),\quad \vv_2=(2,1,-1),\quad \vv_3=(1,-1,1). \]

Door een matrix-vectorvergelijking op te lossen, vinden we

\[ \vb=2\vv_1+(-1)\vv_2+2\vv_3. \]

Dit geeft

\[ \vb_W = 2\vv_1+(-1)\vv_2 = (0,3,3) \quad\text{en}\quad \vb_{W^\perp}=(2,-2,2). \]

We zullen hieronder een andere manier zien om projecties van vectoren te berekenen die in de praktijk meestal handiger is.

12.2. Matrix van de orthogonale projectie

Stelling 12.3

Als \(W\) een lineaire deelruimte van \(\RR^n\) is met basis \((\va_1,\ldots,\va_k)\) en \(A\) de \(n\times k\)-matrix is met kolommen \(\va_1,\ldots,\va_k\), dan is de \(k\times k\)-matrix \(A^\top A\) inverteerbaar en is de \(n\times n\)-matrix

\[ P_W=A(A^\top A)^{-1}A^\top \]

de standaardmatrixrepresentatie van de projectie \(p_W\).

Bewijs. Om de inverteerbaarheid van \(A^\top A\) te bewijzen, tonen we eerst aan dat de kern van \(A^\top A\) gelijk is aan \(\{\mathbf{0}\}\). Als \(\vx\) in \(\ker(A^\top A)\) ligt, dan geldt

\[ A\vx\cdot A\vx=A^\top A \vx\cdot\vx=\mathbf{0}. \]

Wegens de eigenschappen van het inproduct impliceert dit \(A\vx=\mathbf{0}\). Aangezien de kolommen van \(A\) een basis voor een lineaire deelruimte van \(\RR^n\) vormen en dus lineair onafhankelijk zijn, volgt \(\vx=\mathbf{0}\). Dit laat zien dat inderdaad geldt \(\ker(A^\top A)=\{\mathbf{0}\}\). Hieruit volgt \(\rang(A^\top A)=k-\dim\ker(A^\top A)=k\), dus \(A^\top A\) is inverteerbaar.

We kunnen nu de formule voor \(P_W\) bewijzen. Gegeven een vector \(\vv\) in \(\RR^n\) moeten we laten zien dat geldt \(P_W\vv = p_W(\vv)\). We schrijven \(\vv=\vw+\vz\) met \(\vw\in W\) en \(\vz\in W^\perp\). Per definitie geldt dan \(p_W(\vv)=\vw\). Anderzijds kunnen we \(\vw\) schrijven als lineaire combinatie van de vectoren \(\va_1,\ldots,\va_k\), dus er bestaat een vector \(\vc\in\RR^k\) met \(\vw=A\vc\). Verder staat \(\vz\) loodrecht op de vectoren \(\va_1,\ldots,\va_k\), dus er geldt \(A^\top \vz=\mathbf{0}\). We berekenen nu

\[\begin{split} \begin{aligned} P_W\vv&=A(A^\top A)^{-1}A^\top(\vw+\vz)\\ &=A(A^\top A)^{-1}A^\top(A\vc+\vz)\\ &=A(A^\top A)^{-1}(A^\top A\vc+\mathbf{0})\\ &=A\vc\\ &=\vw. \end{aligned} \end{split}\]

Voorbeeld 12.4

Bekijk de lineaire deelruimte \(W\) van \(\RR^3\) opgespannen door \(\va_1=\begin{pmatrix}1\\ 0\\ 1\end{pmatrix}\) en \(\va_2=\begin{pmatrix}0\\ 1\\ 1\end{pmatrix}\). We berekenen

\[\begin{split} A=\begin{pmatrix}1& 0\\ 0& 1\\ 1& 1\end{pmatrix},\quad A^\top=\begin{pmatrix}1& 0& 1\\ 0& 1& 1\end{pmatrix}, A^\top A=\begin{pmatrix}2& 1\\ 1& 2\end{pmatrix}. \end{split}\]

De bekende formule voor de inverse van een \(2\times 2\)-matrix geeft

\[\begin{split} A^\top A = \frac{1}{3}\begin{pmatrix}2& -1\\ -1& 2\end{pmatrix} \end{split}\]

en we krijgen dus

\[\begin{split} \begin{aligned} P_W &= A(A^\top A)^{-1}A^\top\\ &= \frac{1}{3}\begin{pmatrix}1& 0\\ 0& 1\\ 1& 1\end{pmatrix} \begin{pmatrix}2& -1\\ -1& 2\end{pmatrix} \begin{pmatrix}1& 0& 1\\ 0& 1& 1\end{pmatrix}\\ &= \frac{1}{3} \begin{pmatrix}2& -1& 1\\ -1& 2& 1\\ 1& 1& 2\end{pmatrix}. \end{aligned} \end{split}\]