Elk systeem heeft input
((niet-)controleerbaar) en een output.
Wat is de relatie tussen de inputs en de
outputs?
(er wordt vooral gekeken naar de
controleerbare inputs en gehoopt dat de
oncontroleerbare inputs een relatief kleine
bijdrage hebben)
Belangrijke elementen:
Respons = y
Model voor elk respons: y = f(x1, x2, …) + ε (met ε = foutenterm)
Factoren = inputs (controleerbaar = x, niet-controleerbaar = z)
Regressiemodellen:
- Lineair/niet-lineair
o Niet-lineair: bv logistiek regressiemodel
- Enkelvoudig/meervoudig:
o Enkelvoudig = wanneer het model maar uit 1 x bestaat
o Meervoudig = meerdere x’en
Schatten:
- Kleinste kwadratenmethode
o Gewoon: OLS (zoals in SDV)
o Veralgemeend: GLS (dit jaar)
o Niet-lineair (gaan we niet gebruiken)
- Maximum likelihood methode (gaan we niet gebruiken)
Factoren (x’en): (= verklarende variabelen zoals bij SDV)
Wij kunnen de factoren tijdens een experiment zelf veranderen
- Kwantitatief (continu, discreet)
- Kwalitatief
Opmerking: we gaan in dit vak enkel maar met 1 soort dummyvariabele
werken (niet zoals bij SDV met 2 verschillende)
1
,KWALITATIEVE FACTOREN
β's: onbekende
modelparameters in de
modellen moeten we gaan
schatten met de kleinste
kwadraten methode (als β bij
een x groot is, dan heeft deze
x een grotere invloed op y (de
respons)) met
hypothesetest kunnen we kijken of β significant verschilt van 0 of
niet
Benaming van β’s:
- β0 = intercept
- β’s bij controleerbare inputs (β1, β2, …) = hoofdeffecten/lineaire
effecten
- β bij kruisproduct van 2 x’en = interactie-effect van deze 2
- β’s bij kwadraten van x’en = kwadratische effecten
Codering van x’en:
Alle factoren herschalen naar [- 1,1]:
l = niveau van factor in natuurlijke eenheden
Met:
U= maximale waarde
L = minimale waarde
Delta = helft van de range van het interval [L,U]
Formele matrixnotatie:
‘Fitten’ van modellen model dat best past bij de data
Voorbeeld model:
2
,Vectornotatie:
Opmerking: alles wat vetgedrukt is, is eigenlijk een kolomvector!!!
Alle vectornotaties kunnen samengebracht worden in een
matrixnotatie:
Hier hebben we 6
modelparameters
(β’s)
p = 6 (p =
#parameters)
β’s moeten geschat
worden op basis van de
responsen die we
hebben
Bij statistische proefopzet: we gaan de waarden van x1, x2, … kiezen
Opmerking: het aantal rijen in de X-matrix = het aantal keer dat we het
experiment uitvoeren met verschillende waarden voor de x’en.
Opmerking:
- Model met enkel hoofdeffecten aantal kolommen in X = k+1 (k =
#factoren)
- Model met ook interactie-effecten aantal kolommen in X = k + 1
+ k(k-1)/2 (met k(k-1)/2 = #interacties)
Kleinste kwadratenmethode (gewoon):
Schatter:
Opmerking: bij elke meting worden meetfouten
gemaakt (die zitten dan bv bij die y-waardes) gaat impact hebben op
schatting voor β’s (β’s niet 100% juist)
Hoe onzeker zijn we over onze β’s?: met variantie-
covariantiematrix
o σ2 = variantie van foutenterm ε
Hoe meer meetfouten (meer randomness), hoe groter σ2,
variantie-covariantiematrix ook groot = meer
onzekerheid over β’s
o X-matrix: grote X-matrix betekent dat je veel waarnemingen
hebt gedaan (veel experimenten uitgevoerd, veel rijen)
inverse matrix gaat dan aan de kleine matrix zijn variantie-
3
, covariantiematrix gaat dan kleiner zijn = betere schatting (dit
wordt soms gelimiteerd door financiële redenen)
o Slimme experimenten: X-matrix slim kiezen (ook bij kleiner
aantal experimenten) zodat variantie-covariantiematrix nog
altijd klein blijft
Diagonaalelementen: varianties voor aparte β’s individuele
onzekerheden voor de β’s (als deze groot zijn, zijn de schattingen redelijk
onzeker)
Rest: covarianties idealiter zijn deze gelijk aan nul WANT dan kan je elke
β onafhankelijk schatten van de anderen (dan kan je de individuele
invloeden van elke x apart goed bekijken)
Opmerking: bij multicollineariteit zijn de covarianties niet nul en kun je de
invloeden van de x’en op y niet isoleren
Inverse van de variantie-covariantiematrix = matrix
Klei
ne variantie-
covariantiematrix =
grote informatiematrix
= goed
Altijd symmetrisch,
positief semi-definiet,
determinant >= 0
Moet je soms kunnen
berekenen op examen!!! (check dan wat hierboven staat)
Indien dataset dat rijk genoeg is aan informatie om zo een goed
model te schatten (goed experiment): deze matrix = positief
definiet, determinant > 0, inverteerbaar (de kleinste
kwadratenschatter bestaat dan)
Opmerking: informatiematrix is diagonaal als de variantie-
covariantiematrix ook diagonaal is (en omgekeerd) met op diagonaal 1/n
als varianties dus wanneer het model orthogonaal is (zie p21 voor
4