<table width = 900 border = 0><tr><td>
# <b>NMST539 | Cvičenie 3</b>

## <b>Mnohorozměrné normální rozdělení</b>
### <font color = "#880000"><b>LS 2020/2021 |  16/03/21 | (online výuka)</b></font>
###### <a href = "cvicenie2021_3.Rmd">zdrojový Rmd súbor (kódovanie UTF8)</a>

**************

<b>Outline tretieho cvičenia:</b> 

<ul>
<li>mnohorozmerné normálne rozdelenie (združené, marginálne, podmienené rozdelenia);</li>
<li>lineárne kombinácie náhodných veličín a vektorov s normálnym rozdelením;</li>
<li>normalita vs. nezávislosť;</li>
</ul>


Štatisticky program R je k dispozícii (GNU public licence) na adrese <a href = "https://www.r-project.org">https://www.r-project.org</a>

RStudio (tzv. "user-friendly" interface - jeden z mnohých, ktoré na internete nájdete): <a href = "https://www.rstudio.com">RStudio</a>.<br><br>

<b>Užitočné návody a manuály pre prácu s programom R:</b><br>

<ul>
<li>Bína, V., Komárek, A. a Komárková, L.: <i>Jak na jazyk R.</i>  (<a href = "NMFM301/Rmanual2.pdf">PDF súbor</a>)</li>
<li>Komárek, A.: <i>Základy práce s R.</i>  (<a href = "http://msekce.karlin.mff.cuni.cz/~komarek/vyuka/dataRko/Rmanual1.pdf">PDF súbor</a>)</li>
<li>Kulich, M.: <i>Velmi stručný úvod do R.</i> (<a href = "NMFM301/uvodr.pdf" >PDF súbor</a>)</li>
<li>De Vries, A. a Meys, J.: <i>R for Dummies.</i> (ISBN-13: 978-1119055808) </li>		
</ul><br>

<b>Odborná literatúra:</b><br>
<ul>
<li>Hardle, W. and Simar.L.: Applied Multivariate Statistical Analysis. Springer, 2015</li>
<li>Mardia, K., Kent, J., and Bibby, J.:Multivariate Analysis, Academic Press, 1979.</li>
</ul>

<br><br>

**************

### <font color = "#880000"><b>1. Podmienené normálne rozdelenie</b></font>

Pre pripomenutie -- náhodný výber z mnohorozmerného normálneho rozdelenia je pomocou programu R možné
získať niektorým z nasledujúcich možnosti: 
<ul>
<li>knižnica `mvtnorm` a funkcia (mnohorozmerný generátor) `rmvnorm()`;</li>
<li>knižnica `MASS` a funkcia (mnohorozmerný generátor) `mvrnorm()`;</li>
<li>využitím vhodných podmienených rozdelení a jednorozmerného generátoru `rnorm()`;</li>
<li>prípadne iné (vhodné) knižnice a balíčky pre program R;</li>
</ul>


Pre jednoduchosť uvažujme dvoj-rozmerné normálne rozdelenie náhodného vektoru $\Big(\begin{array}{x}X_{1}\\X_{2}\end{array}\Big)$, 
čo sa väčšinou vyjadruje pomocou zápisu

<center>
$\Big(\begin{array}{x}X_{1}\\X_{2}\end{array}\Big) \sim N_{2}\left(\boldsymbol{\mu} = \Big(\begin{array}{c} \mu_{1} \\ \mu_{2}\end{array}\Big), \Sigma = \left( \begin{array}{cc} \sigma_{1}^{2} & \sigma_{12} \\\sigma_{21} & \sigma_{2}^{2} \end{array} \right) \right)$,
</center>

kde $\boldsymbol{\mu} \in \mathbb{R}^2$ je vektor stredných hodnôt a matica $\Sigma$ je tzv. variančná-kovariačná matica náhodného vektoru $\Big(\begin{array}{x}X_{1}\\X_{2}\end{array}\Big)$, o ktorej sa obecne predpokladá, že je pozitívne definitná a symetrická (teda $\sigma_{12} = \sigma_{21}$). 

Príslušná dvojrozmerná hustota má tvar

<center>
$\large{f(\boldsymbol{x}) = \frac{1}{2 \pi |\Sigma|^{1/2}} exp\Big\{ -\frac{1}{2} (\boldsymbol{x} - \boldsymbol{\mu})^{\top} \Sigma^{-1} (\boldsymbol{x} - \boldsymbol{\mu}) \Big\},}$
</center><br>

pre ľubovolný bod z dvojrozmernej reálnej plochy,  $\boldsymbol{x} = (x_{1}, x_{2})^{\top} \in \mathbb{R}^{2}$.<br><br>

Pomocou združenej hustoty je možné jednoducho (integrovaním) vyjadriť marginálne rozdelenia jednotlivých zložiek, t.j., náhodných veličín $X_{1}$ a $X_{2}$.  Z definície podmienenej hustoty je následne možné vyjadriť podmienené rozdelenie (hustotu) náhodnej veličiny $X_{1}$ pri pozorovanej hodnote $X_{2}$ (alebo, analogicky, podmienené rozdelenie náhodnej veličiny $X_{2}$ pri danej hodnote náhodnej veličiny $X_{1}$). 

<ul>
<li> Pre získanie/určenie marginálneho rozdelenia náhodnej veličiny $X_{1}$ je potrebné spočítať integrál $f_1(x_{1}) = \int_{\mathbb{R}} f(x_{1}, x_{2}) \mbox{d}x_{2}$ a analogicky pre učenie marginálneho rozdelenia náhodnej veličiny $X_{2}$, je nutné spočítať integrál $f_2(x_{2}) = \int_{\mathbb{R}} f(x_{1}, x_{2}) \mbox{d}x_{1}$, kde zakaždým integrujeme združené rozdelenie (hustotu) vzhľadom k prvej, resp. vzhľadom k druhej premennej (obecne vzhľadom k ostatným premenným). Intuitívne tušíme, že marginálne rozdelenia náhodných veličín 
$X_{1}$ a $X_{2}$ sú opäť normálne, t.j., platí nasledujúce: 

<center>
$X_{1} \sim N(\mu_1, \sigma_1^2)~~~$ a $~~~X_{2} \sim N(\mu_2, \sigma_2^2)$.
</center><br><br>
</li>

<li>Podmienené rozdelenie -- napríklad podmienené rozdelenie náhodnej veličiny $X_{2}$ pri danej hodnote $X_{1} = x_{1}$ je opäť normálne, 
a jednoducho sa overí (udělejte samostatne), že platí nasledujúce: 

<center>
$(X_{2} | X_{1 } = x_{1}) \sim N\Big(\mu_{2} + \frac{\sigma_{21}(x_1 - \mu_1)}{\sigma_{1}^2}, \sigma_{2}^2 - \frac{\sigma_{12}\sigma_{21}}{\sigma_{1}^2}\Big).$
</center>

Analogické rozdelenie lze odvodiť aj pre podmienené rozdelenie náhodnej veličiny $X_1$ pri danej hodnote $X_2 = x_2$.</li>
</ul>


<br><br>



Pomocou programu R a niekoľkých jednoduchých príkladov spočítame marginálne a podmienené rozdelenia pre  náhodný vektor s daným 
(mnohorozmerným) normálnym rozdelením. Využijeme R knižnicu `mvtnorm` (knižnica musí byť nainštalovaná v programe R). Knižnicu iniciallizujeme pomocou príkazu

```{r, message=F, warning=F}
library("mvtnorm")
```

Pre jednoduchosť, náhodný vektor bude mať dvojrozmerné normálne rozdelenie s vektorom stredných hodnôt $\boldsymbol{\mu} = (0,0)^\top$ a variačnou-kovariančnou maticou $\Sigma =  \left( \begin{array}{cc} 1 & 0.8 \\0.8& 1\end{array} \right)$. Chceme spočítať podmienené rozdelenie náhodnej veličiny $X_{2}$, za podmienky, že platí $X_{1} = 0.7$.<br><br>

#### <font color = "#880000">Samostatne</font>
<hr size="3" width="100%" noshade style="color:#440000" align="left" />
<ul>
<li>Aký je (lineárny) vzťah medzí náhodnými veličinami $X_1$ and $X_2$? Je možné tento vzťah formálne kvantifikovať?</li><br>

<li>Z pohľadu geometrie, resp. lineárnej regresie je možné uvažovať aj takto: pre náhodný výber z daného dvojrozmerného rozdelenia 
reprezentovaný v $xy$ scatterplote, je možné zostrojiť  regresnu priamku, ktorá  v určitom vhodnom zmysle data dobre reprezentuje. 
Táto přimka je jednoznančne určená dvoma parametrami -- interceptom a smernicou. <br><br>

Máte aspoň intuitívnu predstavu, ako tieto parametre získať a čo presne reprezentujú?<br>
Porovnajte nasledujúce výstupy a zároveň vizuálne oveřte, že regresní prímka (ktorá je učená parametrami v príkaze `lm()`) anozaj prechádza bodom, který je určený ako `c(mean(sample[,2]), mean(sample[,1]))` -- t.j. výberovým priemerom hodnot na ose $x$ a výberovým priemerom hodnot na ose $y$.

```{r, eval = T, fig.width= 10}
n <- 100
sample <- rmvnorm(n, c(0, 0), matrix(c(1, 0.8, 0.8, 1),2,2))
(summary(lm(sample[,1] ~ sample[,2])))
(cor(sample[,1], sample[,2]) * sd(sample[,1]) /sd(sample[,2]))

plot(sample[,1] ~ sample[,2], pch = 21, bg = "gray")
abline(lm(sample[,1] ~ sample[,2]), col = "red", lwd = 2)
lines(c(-4, 4) ~ rep(mean(sample[,2]), 2), col = "blue", lty = 2)
lines(rep(mean(sample[,1]), 2) ~ c(-4, 4), col = "blue", lty = 2)
```


</li>
</ul>
<hr size="3" width="100%" noshade style="color:#440000" align="left" />
<br><br>


Pomocou nasledujúcich príkazov sa možeme názorne podívať na združené rozdelenie, jednotlivé marginálne rozdelenia náhodných zložiek
$X_1$ a $X_2$ a tiež na podmienené rozdelenie náhodného vektoru $X_{2}$, za podmienky, že platí $X_{1} = 0.7$. 


```{r, fig.width = 10}
Sigma <- matrix(c(1,.8,.8,1), nrow=2) ## variance-covariance matrix

x <- seq(-3,3,0.01)
contour(x,x,outer(x,x,function(x,y){dmvnorm(cbind(x,y),sigma=Sigma)}), col = "blue")

abline(v=.7, lwd=2, lty=2, col = "red")
text(0.75, -2, labels=expression(x[1]==0.7), col = "red", pos = 4)

### conditional distribution of X2 | X1 = 0.7
y <- dnorm(x, mean =  0.8 * 0.7, sd = sqrt(1 - 0.8^2))
lines(y-abs(min(x)),x,lty=2,lwd=2, col = "red")

### marginals
m1 <- m2 <- dnorm(x, 0, 1)
lines(x, m1 - abs(min(x)), lty = 1, lwd = 2, col = "gray30")
lines(m2 - abs(min(x)), x, lty = 1, lwd = 2, col = "gray30")
```

Dokážete v predchádzajúcom obrázku jednoznačne identifikovať združené rozdelenie (zobrazené pomocou modrých kontúr s maximálnou hodnotou združenej hustoty v bode [0,0]), jednotlivé marginálne rozdelenia (Gaussová křivka na ose $x$ pre $X_1$ a na ose $y$ pre $X_2$) a podmienené rozdelenie náhodnej veličiny $X_{2}$, za podmienky, že platí $X_{1} = 0.7$ (červená Gaussová křivka na ose $y$)?<br><br>

Podmienené rozdelenie náhodnej veličiny $X_2$ je samozrejme možné definovať a zobraziť pre rôzne/ľubovolné hodnoty $X_{1} = x_1$. Obrázok nižšie napríklad 
zobrazuje podmienené rozdelenie $(X_{2} | X_{1} = -1$): 

```{r, fig.width = 10}
contour(x,x,outer(x,x,function(x,y){dmvnorm(cbind(x,y),sigma=Sigma)}), col = "blue")
abline(v=-1, lwd=2, lty=2, col = "red")

### conditional distribution of X2 | X1 = - 1
y2 <- dnorm(x, mean = 0.8 * (- 1), sd = sqrt(1 - 0.8^2))
lines(-y2 + max(x),x,lty=2,lwd=2, col = "red")

```

Alebo analogicky:   

```{r, fig.width = 10}
contour(x,x,outer(x,x,function(x,y){dmvnorm(cbind(x,y),sigma=Sigma)}), col = "blue")
abline(v=-1, lwd=1, lty=1, col = "red")
lines(y2 - 1 ,x,lty=2,lwd=2, col = "red")
```

Dokážete v predchádzajúcich obrázkoch identifikovať strednú hodnotu podmieneného rozdelenia? Všimnite si, že rozptyl 
podmieneného rozdelenia je zakaždým rovnaký (platí tzv. predpoklad homoskedasticity). <br><br>

V prípade použitia hustejšieho gridu bodov $x_{1} \in \mathbb{R}$ dostaneme získame názornú ídeu lineárnej regresie -- t.j. modelovania podmienenej strednej nahodnej veličiny $Y$ (tzv. response, resp. v našom prípade náhodnej veličiny $X_2$) pri daných hodnotách regresorov (v našom prípade $X_1$). 

```{r, fig.width = 10}
contour(x,x,outer(x,x,function(x,y){dmvnorm(cbind(x,y),sigma=Sigma)}), col= "blue")
condN <- function(x, cx){dnorm(x, mean = 0.8 * cx, sd = sqrt(1 - 0.8^2))}
for (i in seq(-2, 2, by = 0.25)){col <- colors()[grep("red",colors())][4*i + 9]; 
                                 lines(condN(x, i) + i, x, lwd = 2, col = col);
                                 abline(v = i, lwd=1, lty=1, col = col)}
```

#### <font color = "#880000">Pripomenutie z lineárnej regresie</font>
<hr size="3" width="100%" noshade style="color:#440000" align="left" />
Za predpokladu, že data (t.j., náhodný vektor $(X_1, X_2)^\top$) majú združené normálne rozdelenie, 
tak prostredníctvom lineárnej regresie -- lineárnej regresnej přimky -- nemodelujeme pouze podmienenú strednú 
hodnotu, ale vpodstate celé podmienené rozdelenie, ktoré je opäť normálne. 
<hr size="3" width="100%" noshade style="color:#440000" align="left" />


Porovnajte predchádzajúci graf s nasledujúcim: 

```{r, fig.width = 10}
set.seed(1234)
s <- rmvnorm(5000, c(0, 0), Sigma)
plot(s, pch = 21, bg = "lightblue", xlim = c(-3, 3), ylim = c(-3, 3), xlab = "", ylab = "", cex = 0.8)
abline(lm(s[,2] ~ s[,1]), col = "red", lwd = 2)

```

Pre ľubovolné $x \in \mathbb{R}$ zobrazuje červená přímka príslušnú strednú hodnotu podmieneného rozdelenia $(X_2 | X_1 = x)$. 

```{r, fig.width = 10}
set.seed(1234)
s <- rmvnorm(5000, c(0, 0), Sigma)
plot(s, pch = 21, bg = "lightblue", xlim = c(-3, 3), ylim = c(-3, 3), xlab = "", ylab = "", cex = 0.8)
abline(lm(s[,2] ~ s[,1]), col = "red", lwd = 2)

for (i in seq(-2, 2, by = 0.25)){col <- colors()[grep("red",colors())][4*i + 9]; 
                                 lines(condN(x, i) + i, x, lwd = 2, col = col);
                                 abline(v = i, lwd=1, lty=1, col = col)}
```

<br><br>

#### <font color = "#880000">Samostatne</font>
<hr size="3" width="100%" noshade style="color:#440000" align="left" />
<ul>
<li>Pripomeňte si obecný vzťah pre podmienené rozdelenie náhodného vektoru $X_{2}$ za podmienky $X_{1} = x_{1}$, ak platí, že celkové združené rozdelenie náhodného vektoru $(X_{1}^\top, X_{2}^\top)^\top$ je normálne
a $X_{1}$ je $p$-rozmerný náhodný vektor pre $p > 1$ a $X_{2}$ je $q$-rozmerný náhodný vektor pre  $q > 1$.</li><br>

<li>Uvažujte mnohorozmerné normálne rozdelenie pre $p \geq 4$, t.j., alespoň štyri náhodné zložky. Spočítajte podmienené rozdelnie háhodného vektoru $(X_{i_1}, X_{i_2})$ pre $i_1, i_2 \in \{1, 2, 3, 4\}$, pri podmienke ostatných premenných. 
Vytvorte graf príslušných kontúr dvojrozmerného podmieneného pri rôznych hodnotách náhodných veličin v podmienke.</li><br>

<li>Opäť je dôležité si uvedomiť, že zo znalosti združeného rozdelenia náhodného vektoru je možné získať lubovolné marginálne rozdelenie, prípadne akékoľvek podmienené rozdelenie niektorých zložiek, za podmienky iných zložiek náhodného vektoru. Na druhej strane, ani znalosť všetkých marginálných rozdelení nie je postačujúca k tomu, aby sme poznali celkove združené rozdelenie. Špeciálne si preto treba uvedomiť, že marginálne normálné rozdelenie jednotlivých zložiek (dokonca aj viacerých -- ale nie všetkých zároveň) ešte neimplikuje združenú normalitu celého náhodného vektoru. </li>
</ul>
<hr size="3" width="100%" noshade style="color:#440000" align="left" />

<br>

#### <font color = "#880000">Poznámka</font>
<hr size="3" width="100%" noshade style="color:#440000" align="left" />
Pre obecné $(p + q)$-mnohorozmerné normálne rozdelenie    

<center>
$\Big(\begin{array}{x}\boldsymbol{X}_{1}\\\boldsymbol{X}_{2}\end{array}\Big) \sim N_{p + q}\left(\boldsymbol{\mu} = \Big(\begin{array}{c} \boldsymbol{\mu}_{1} \\ \boldsymbol{\mu}_{2}\end{array}\Big), \Sigma = \left( \begin{array}{cc} \Sigma_{11} & \Sigma_{21} \\\Sigma_{12} & \Sigma_{22} \end{array} \right) \right)$
</center><br><br>

platí pre ľubovolné $\boldsymbol{X}_{1} \in \mathbb{R}^{p}$ (obecne vektor $p$ náhodných zložiek) a $\boldsymbol{X}_{2} \in \mathbb{R}^{q}$ (náhodný vektor zostávajúcich $q$ premenných) pre $p, q \in \mathbb{N}$, že podmienené rozdelenie $X_1$, za podmienky $X_2 = x_2$, je dané predpisom

<center>
$(\boldsymbol{X}_{1} | \boldsymbol{X}_{2} = \boldsymbol{x}_{2}) \sim N_{p}\left(\boldsymbol{\mu}_{1} + \Sigma_{12}\Sigma_{22}^{-1}(\boldsymbol{x}_{2} - \boldsymbol{\mu}_{2} ), \Sigma = \Sigma_{11} - \Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21} \right),$
</center>

kde $\boldsymbol{\mu}_{1}$ a $\boldsymbol{\mu}_{2}$ sú príslušné vektory stredných hodnôt a variačná-kovariačná matica $\Sigma$ je rozdelená do príslušných blokov vyššie. 


<hr size="3" width="100%" noshade style="color:#440000" align="left" />
<br><br>

### <font color = "#880000"><b>2. Podmienené normálne rozdelenie pomocou knižnice 'condMVNorm()'</b></font>

Jednoduchá a pomerne stručná R knižnica 'condMVNorm()' umožnuje získať mnohorozmerné normálne podmienené rozdelenie 
pri definovaní konkrétnej hodnoty podmienky. Knižnicu je nutné najprv nainštalovať pomocou príkazu `install.packages("condMVNorm")`. 
Príslušné príkazy sú `dcmvnorm()` a `condMVN()` (help k príkazom:  `?dcmvnorm` a `?condMVN`). <br><br>

```{r}
library("condMVNorm")
```


Funkcie z knižnice použijeme na predchádzajúci príklad dvojrozmerného normálneho rozdelenia s nulovým vektorom stredných hodnot a
variančnou-kovariančnou maticou  $\Sigma = \left( \begin{array}{cc} 1 & 0.8 \\ 0.8 & 1 \end{array} \right)$. <br><br>

Chceme získať podmienené rozdelenie náhodnej zložky $X_{2}$, za podmienky, že $X_1 = 0.7$: 

```{r}
condDist <- condMVN(mean = c(0,0), sigma = Sigma, dependent.ind = 2, given.ind = 1, X.given = 0.7)
```

a tiež

```{r}
dcmvnorm(0, mean = c(0,0), sigma = Sigma, dependent.ind = 2, given.ind = 1, X.given = 0.7)
```

porovnáme s následujúcim: 

```{r}
dnorm(0, condDist$condMean, sqrt(condDist$condVar))
```

<br>

#### <font color = "#880000">Samostatne</font>
<hr size="3" width="100%" noshade style="color:#440000" align="left" />
<ul>
<li>Pomocou helpu k jednotlivým príkazom sa podívajte na implementáciu jednotlivých funkcii. Na konkrétnych príkladoch 
si vyskúšajte ich fungovanie. </li>
<li>Je nutné pamätať na to, že niektoré funkcie v programe R vyžaduju ako porameter směrodatnú chybu 
a iné výžaduju hodnotu rozptylu.   </li>
</ul>

<hr size="3" width="100%" noshade style="color:#440000" align="left" />
<br>


### <font color = "#880000"><b>3. Podmienené normálne rozdelenie -- ilustračný príklad</b></font>

Pre jednoduchú ilustráciu budeme uvažovať dataset `mtcars`, ktorý je k dispozícii v štandardnej inštalácii programu  R 
(pre podrobnejšie informácie ohľadom datasetu `mtcars` je možné použiť help `?mtcars`). 

```{r}
summary(mtcars)
attach(mtcars)
```

V nasledujúcom budeme predpokladať, že premenné 'mpg' (miles per gallon), 'hp' (horse power) a 'disp' (displacement)
sú združene normálne rozdelené, t.j. náhodný vektor $(X_{1}, X_{2}, X_{3})^{\top} = (mpg, hp, disp)^{\top}$ má trojrozmerné normálne rozdeleníe s neznámym vektorom stredných hodnôt $\boldsymbol{\mu} = (\mu_{1}, \mu_{2}, \mu_{3})^{\top} \in \mathbb{R}^{3}$ a nejakou (opäť neznámou) symetrickou a pozitívne definitnou variačnou-kovariančnou maticou $\Sigma$. 

```{r, echo=FALSE, fig.width = 10}
par(mfrow = c(1,3))
hist(mpg, xlab = "Miles per gallon", ylab = "Frequency", col = "lightblue")
hist(hp, xlab = "Gross horsepower", ylab = "", col = "lightblue")
hist(disp, xlab = expression(paste("Displacement [", cu^3, "]", sep = "")), ylab = "", col = "lightblue")
```


Pomocou programu R získame príslušné odhady pre $\boldsymbol{\mu} = (\mu_{1}, \mu_{2}, \mu_{3})^{\top} \in \mathbb{R}^{3}$ a pre $\Sigma$.
Odhady -- resp. výberové charakteristiky:

```{r}
mu <- apply(cbind(mpg, hp, disp), 2, mean) 
Sigma <- cov(cbind(mpg, hp, disp))
```


Následne nás zaujíma, aké je (odhadované) podmienené rozdelenie premennej "miles per gallon" ('mpg') pri daných hodnotách "horse power" a "displacement", konkrétne $(X_{2}, X_{3})^{\top} = (120,120)^{\top}$? 



A príslušné podmienené rozdelenie získame jednoducho pomocou príkazu: 

```{r}
condMean <- mu[1] + Sigma[1, 2:3] %*% solve(Sigma[2:3,2:3]) %*% (c(120, 120) - mu[2:3])
condSigma <- Sigma[1,1] - Sigma[1, 2:3] %*% solve(Sigma[2:3,2:3]) %*% Sigma[2:3, 1]
```

Za predpokladu, že náhodný vektor $(X_{1}, X_{2}, X_{3})^{\top} = (mpg, hp, disp)^{\top}$ má mnohorozmerné normálne rozdelenie, 
získame podmienené normálne rozdelenie so strednou hodnotou a rozptylom: 

```{r, fig.width = 10}
condMean
condSigma
```

Príslušný graf: 

```{r, fig.width = 10}
plot(dnorm(x <- seq(0, 35, length = 500), mean = condMean, sd = sqrt(condSigma)) ~ x, 
                                           xlab = "Miles per gallon", ylab = "Conditional Density", 
                                           type = "l", lwd = 2, col = "red", 
                                           xlim = c(0, 35), ylim = c(0,0.18))
lines(dnorm(x, mean(mpg), sd(mpg)) ~ x, lwd = 1)
legend(0, 0.175, legend = c("Conditional distribution: MPG | HP = 120 & Disp = 120", 
                           "Estimated Normal Distribution of MPG"), col = c("red", "black"), lty = c(1,1))
```


#### <font color = "#880000">Samostatne</font>
<hr size="3" width="100%" noshade style="color:#440000" align="left" />
<ul>
<li>Pokúste sa vytvoriť jednoduchý lineárny regresný model, kde "miles per gallon" bude vystupovať ako závislá premenná
a nezávislé premenné sú "horse power" a "displacement". Pomocou modelu získajte príslušné odhady parametrov.

```{r, eval = F}
m <- lm(mpg ~ hp + disp, data = mtcars)
```
</li>

<li>Následne pomocou modelu odhadnite strednú hodnotu premennej "miles per gallon", za podmienky, že sa jedná o auto s "horse power = 120" a "displacement = 120". 
```{r, eval = F}
CondMean <- m$coeff[1] + m$coeff[2] * 120 + m$coeff[3] * 120
```
</li>

<li>Porovnajte podmienenú strednú hodnotu získanu z výrazu podmieneného normálneho rozdelenia 
za predpokladu združenej normality a podmienenú strednú hodnotu získanu vramci metódy lineárnej regresie. Čo sa stane, 
ak namiesto troch premenných, budeme uvažovať napr. viac-rozmernú závislú premennú, alebo viacej nezávislých premenných?</li>

<li>Pripomeňte si, čo plati ohľadom nezávislosti a nulovosti kovariancie obecne a čo platí ohľadom nezávislosti a kovariancie za predpokladu normality. Pokúste sa navrhnúť jednoduchý príklad, kde pomocou simulácii budete daný fakt vhodne ilustrovať pomocou obrázku. </li>
</ul>
<hr size="3" width="100%" noshade style="color:#440000" align="left" />

<br><br>

#### <font color = "#880000">Teoretické príklady</font>
<hr size="3" width="100%" noshade style="color:#440000" align="left" />
<ul>
<li><b>Príklad 1</b><br> Uvažujte náhodný vektor $\boldsymbol{X}$ s dvojrozmerným normálnym rozdelením $N_{2} \left( \left( \begin{array}{c}1\\2\end{array} \right),  \left( \begin{array}{cc} 2 & 1\\1 & 2\end{array} \right) \right)$ a podmienený náhodný vektor $\boldsymbol{Y} | \boldsymbol{X}$, tak, že platí
$$
\boldsymbol{Y} | \boldsymbol{X}  \sim N_{2}\left( \left( \begin{array}{c} X_{1}\\ X_{1} + X_{2} \end{array}  \right), \left( \begin{array}{cc} 1 & 0\\ 0 & 1  \end{array}  \right)  \right).
$$

Spočítajte podmienené rozdelenie $Y_2 | Y_{1}$ a rozdelenie náhodného vektoru $\boldsymbol{W} = \boldsymbol{X} - \boldsymbol{Y}$.</li><br>

<hr size="3" width="100%" noshade style="color:#440000" align="left" />

<li><b>Príklad 2</b><br> Uvažujte náhodný vektor $\boldsymbol{X} \sim N_{2}(\boldsymbol{\mu}, \Sigma)$, s vektorom stredných hodnôt $\boldsymbol{\mu} = (2,2)^\top$ a variančnou-kovariančnou maticou $\Sigma = \mathbb{I}_2$ (jednotková matica). Nechť $\mathbb{A} = (1, 1)$ a $\mathbb{B} = (1, -1)$. Ukážte, že náhodné veličiny  $\mathbb{A}\boldsymbol{X}$ a $\mathbb{B}\boldsymbol{X}$ sú nezávislé. </li><br>

<hr size="3" width="100%" noshade style="color:#440000" align="left" />

<li><b>Príklad 3</b><br> Uvažujte náhodný vektor $(X, Y, Z)^\top \sim N_3(\boldsymbol{\mu}, \Sigma)$. Spočítajte $\boldsymbol{\mu}$ a $\Sigma$, ak viete, že platí následujúce: 

<ul>
<li>$Y | Z \sim N(-Z, 1)$;</li>
<li>$\mu_{Z|Y} = -\frac{1}{3} - \frac{1}{3}Y$;</li>
<li>$X | (Y, Z) \sim N(2 + 2Y + 3Z, 1)$;</li>
</ul>
Spočítajte podmienené rozdelenie $X|Y$ a podmienené rozdelenie $X | Y + Z$.
</li><br>

<hr size="3" width="100%" noshade style="color:#440000" align="left" />

<li><b>Príklad 4</b><br> Předpokládejme, že platí: 
<ul>
<li>$Z \sim N(0,1)$;</li>
<li>$Y | Z \sim N(1 + Z, 1)$;</li>
<li>$X | (Y, Z) \sim N(1 - Y, 1)$;</li>
</ul>
Nájdite rozdelenie náhodného vektoru  $(X, Y, Z)^\top$ a podmienené rozdelenie $Y | (X, Z)$. 
Uvažujte lineárne transformácie $U = 1 + Z$ a $V = 1 - Y$ a nájděte združené rozdelenie náhodného vektoru $(U, V)^\top$. Spočítajte strednú hodnotu $E(Y | U = 2)$.
</li>

</ul>

<hr size="3" width="100%" noshade style="color:#440000" align="left" />
<hr size="3" width="100%" noshade style="color:#440000" align="left" /><br><br> 

## <font color = "#880000"><b>Domáca (samostatná) úloha </b></font>
### (Deadline: Štvrté cvičenie / 23.03.2021)

<ul>
<li>Podľa vlastného výberu spočítajte alespoň jeden (teoretický) príklady uvedený v predchádzajúcej sekcii. Výsledok 
ověrte v programe R pomcou simulácii. </li>

<li>Vyššie bolo uvedené, že zo združeného normálneho rozdelenia náhodného vektoru je možné jednoznačne určiť/spočítať príslušné 
marginálne rozdelenia jednotlivých zložiek (aj viacerých) a tieto rozdelenia sú opäť normálne. Opačne však ani znalosť všetkých marginálných  rozdelení jednotlivých zložiek (aj viacerých súčasne, avšak nie všetkých zároveň) -- aj keď sú normálne --- nestačí obecne k tomu, 
aby sme dokázali povedať, či združené rozdelenie celého vektoru je normálne, alebo není. 

Pokúste sa premyslieť si jednoduchý príklad s dvojrozmerným náhodným vektorom $(X_1, X_2)^\top$ (resp. maximálne s trojrozmerným náhodným vektorom $(X_1, X_2, X_3)^\top$), ktorého všetky zložky majú marginálne normálne rozdelenie, ale celkovo náhodný vektor $(X_1, X_2)^\top$ nemá združené dvojrozmerné 
normálne rozdelenie (resp. náhodný vektor  $(X_1, X_2, X_3)^\top$ nemá združené trojrozmerné normálne rozdelenie). </li>

<li>Vhodným spôsobom Váš príklad ilustrujte pomocou obrázku/obrázkov.</li> 

<li> Riešenie umiestnite na svoju webovú stránku, <font color = "red">najneskôr v utorok, 23.03.2021, do 14:00</font>.</li>
</ul>




</td></tr></table>
<br><br><br>