Zajęcia 4
Na wykładzie Profesor przedstawia Klasyczny Model Normalnej Regresji Liniowej. KMRL jest modelem nieparametrycznym, natomiast KMNRL jest modelem parametrycznym – co było wyjaśnione na wykładzie. W KMNRL założenia KMRL zostają wzmocnione dzięki czemu uzyskuje się:
1. „lepsze” własności statystyczne estymatora MNK (estymator MNK jest najlepszy w klasie WSZYSKICH estymatorów nieobciążonych) oraz
2. nowe techniki wnioskowania – ta kwestia będzie przedmiotem tych i następnych zajęć.
W KMNRL zapoznają się Państwo z zastosowaniem niezwykle ważnego narzędzia wnioskowania – testu statystycznego (tu: testu istotności) a także z estymacją przedziałową.
W związku z tym potrzebna jest powtórka wiadomości ze statystyki matematycznej. Musi ona dotyczyć własności rozkładów którymi będziemy się posługiwać: wielowymiarowego normalnego, t-studenta, chi-kwadrat oraz F. Ponadto powinni Państwo powtórzyć sobie wiadomości o testach istotności – jak się stawia hipotezy, jak się je weryfikuje, co to jest statystyka testowa i dlaczego ważny jest jej rozkład przy prawdziwości hipotezy zerowej, co to jest obszar krytyczny, jak wygląda konkluzja testu, co to jest poziom istotności, moc testu, błędy pierwszego i drugiego rodzaju etc. Pewne podstawowe wiadomości na ten temat będą przywołane poniżej.
Dla Państwa wygody przygotowałem stronę gdzie zebrane są własności rozkładów którymi będziemy się posługiwać: oto link:
Rozkłady związane z normalnym.
JESZCZE MAŁA DYGRESJA W
SPRAWIE NOTACJI
(jak scharakteryzować
rozkład zmiennej losowej)
Alternatywnie możemy 4 i 5 założenie KMRL zapisać następująco:
Zapis dla całego wektora e:
e~DT(0, s2I)
– co czytamy: epsilon jest T wymiarową zmienną losową o wartości oczekiwanej będącej wektorem zerowym i macierzy kowariancji s2I. W takiej notacji najpierw jest oznaczenie zmiennej, tu e, potem „~” – co czytamy: „ma rozkład”, duża litera oznacza typ rozkładu (np. N to normalny, kiedy piszemy D (od distribution – rozkład) mamy na myśli pewien nie określany bliżej typ rozkładu). Potem jest w górnym indeksie wymiar (tutaj T), potem otwieramy nawias i najpierw jest wektor wartości oczekiwanej (musi mieć wymiar T na 1 więc nie oznaczamy go) – tutaj wektor zerowy „0” , przecinek, a potem macierz kowariancji (wymiar musi być T na T) – w tym przypadku macierz kowariancji wektora epsilon ma postać s2I). Zapis: w~Nn(m,S) czytamy „w ma n-wymiarowy rozkład normalny o wartości oczekiwanej równej wektorowi m i macierzy kowariancji równej S”
zapis dla pojedynczego (skalarnego) elementu wektora e:
et~iiD(0, s2), t = 1,2,...,T.
co czytamy: dla każdego t, et (jednowymiarowa zmienna losowa) ma identyczny niezależny rozkład o zerowej wartości oczekiwanej i wariancji s2. Tutaj 0 nie jest wytłuszczone, bo jest skalarem, podobnie jak wariancja s2 , która nie ma indeksu t, jest więc taka sama dla każdego et, co jest potwierdzone przez literki „iiD”. Oznaczają one: „identically independently distributed” czyli „iiD” znaczy „(każdy element wektora) ma taki sam niezależny rozkład” [„iiN” znaczyłoby „ma taki sam niezależny rozkład normalny”] – skoro więc zmienne et są niezależne, to są też nieskorelowane – czyli kowariancje są zerowe. To jest jedyny punkt w którym te zapisy się różnią – w pierwszym e~DT(0, s2I) – mamy nieskorelowanie (zadana struktura macierzy kowariancji implikuje zerowe kowariancje więc i korelacje). W drugim: et~iiD(0, s2) mamy niezależność, więc coś mocniejszego niż nieskorelowanie. Ten ostatni zapis wymaga więc więcej niż w KMRL, ale podaję go żeby Państwo potrafili jakby co przeczytać.
Kiedy rozważamy rozkład normalny, zerowe kowariancje (nieskorelowanie) są równoważne z niezależnością, więc et~iiN(0, s2), t = 1,2,...,T oraz e~NT(0, s2I) znaczy dokładnie to samo – jest to zapis założeń 4,5,6 KMNRL.
Celem zajęć jest Państwa zapoznanie się z
modelem KMNRL i możliwościami wnioskowania o pojedynczym parametrze regresji w
tym modelu, w szczególności z testowaniem istotności i estymacją przedziałową.
Jak już wskazano powyżej, w KMNRL estymator MNK ma dodatkowe własności statystyczne i pozwala w związku z tym na lepsze możliwości wnioskowania. Szczegółowo konsekwencje dodania do modelu KMRL założenia o wielowymiarowym rozkładzie normalnym dla składnika losowego przedstawił na wykładzie Profesor. Proszę jeszcze raz prześledzić fakty podane na wykładzie zapoznawszy się uprzednio z własnościami Rozkładów związanych z normalnym – szczególnie proszę zwrócić uwagę na fakt, że liniowa transformacja wielowymiarowej zmiennej normalnej ma również wielowymiarowy rozkład normalny o odpowiednio zadanych parametrach.
Na wykładzie Profesor zasygnalizował intuicje mające pozwolić Państwu lepiej zrozumieć wagę założenia normalności składnika losowego, odwołując się do interpretacji składnika losowego jako „sumarycznego oddziaływania wszystkich czynników nie uwzględnionych w modelu”. Centralne Twierdzenia Graniczne (Central Limit Theorem) sugerują, że rozkład sumy wielu zmiennych losowych „dąży” do rozkładu normalnego, gdy te zmienne mają skończony 1 i 2 moment. (to BARDZO nieformalna interpretacja CTG). Na warunek istnienia momentów należy zwrócić szczególną uwagę. Jest on związany z „grubością ogonów” rozkładu. Rozkład przypisujący duże prawdopodobieństwo wartościom odległym od tendencji centralnej („gruboogoniasty”) może nie mieć skończonych momentów lub nawet mogą one fundamentalnie nie istnieć. Można to prześledzić na przykładzie rodziny rozkładów t-Studenta. Dla 1 stopnia swobody rozkład t-Studenta to rozkład Cauchy’ego: nie istnieje w nim wartość oczekiwana i nie ma on skończonej wariancji. Ze wzrostem liczby stopni swobody w rozkładzie t-Studenta zaczynają „istnieć” kolejne momenty (w tym rozkładzie istnieje skończony moment rzędu (stopnie swobody –1)) przy czym ogony rozkładu stają się coraz cieńsze. Przy dużej liczbie stopni swobody (kilkadziesiąt lub około stu jeżeli potrzebujemy bardzo dużej dokładności) rozkład t-Studenta jest już prawie nie do odróżnienia od rozkładu normalnego. W rozkładzie normalnym istnieją wszystkie skończone momenty a ogony są bardzo cienkie. W rozkładzie normalnym prawdopodobieństwo pojawienia się wartości odległej od średniej o 4 odchylenia standardowe jest praktycznie równe 0. (por. rysunki) Wobec tego normalny składnik losowy nie nadaje się do modelowania obserwacji „nietypowych” „odstających”. Częste pojawianie się takich obserwacji (sytuacja gdy obserwacje „nietypowe” są typowe) dotyczy finansowych szeregów czasowych i ogólnie danych wysokiej częstotliwości – w wypadku takich danych powinniśmy raczej powstrzymać się od stosowania narzędzi wnioskowania wymagających normalności (czyli tych które będą poniżej przedstawione); natomiast założenia KMRL mogą być spełnione , co pozwala na punktową estymację parametrów – jest tak gdy składnik losowy ma rozkład o wystarczająco grubych ogonach by modelować obserwacje nietypowe, jednakże istnieją w nim momenty 1,2 rzędu (jak np. w rozkładzie t-Studenta z 3 st. swobody).
Powyżej przedstawiono argument „za” normalnością składnika losowego oraz kontrprzykład: sytuację w której takie założenie nie jest uzasadnione. Gdy jednak możemy przyjąć normalność składnika losowego, mamy do dyspozycji znacznie bardziej „czułe” narzędzia wnioskowania. W KMRL dysponujemy jedynie punktowymi ocenami nieznanych parametrów regresji. Nie jesteśmy jednak w stanie dokładnie opisać liczbowo niepewności jaką obciążone jest to wnioskowanie. W KMNRL dysponujemy bardziej subtelnymi narzędziami opisu naszej niepewności dotyczącej nieznanych wartości parametrów; w niniejszych zajęciach zajmiemy się wnioskowaniem o pojedynczym parametrze regresji.
UWAGA: WSZYSKIE PRZEDSTAWIONE PONIŻEJ NARZĘDZIA DOTYCZĄ WYŁĄCZNIE WNIOSKOWANIA O POJEDYNCZYM PARAMETRZE (O KAŻDYM NIEZALEŻNIE) – NIE MOŻNA ICH UZYWAĆ W CELU ŁĄCZNEGO WNIOSKOWANIA O WIĘCEJ NIŻ JEDNYM PARAMETRZE REGRESJI!!!
Poniżej przedstawione zostaną kolejno dwa podstawowe narzędzia wnioskowania o pojedynczym parametrze, tj. test t oraz przedział ufności. Następnie omówiony zostanie związek między nimi. Ale przedtem zwróćmy uwagę na jedną jeszcze kwestię. Omawianych tu i w kolejnych zajęciach narzędzi wnioskowania używamy by „uporać” się z pewnymi problemami, zagadnieniami. Ważne jest rozumienie, jakie mamy problemy, i jak do naszych potrzeb mają się stosowane narzędzia. Poniżej przedstawienie będzie koncentrować się na narzędziach, ale dalej pokazane zostaną również ich ograniczenia w stosunku do naszych potrzeb. Więc jako tło zarysowane zostaną kwestie, z którymi walczymy przy pomocy narzędzi wnioskowania KMNRL.
1. Opis niepewności o parametrze – przypuśćmy, że pewien parametr regresji ma konkretną interpretację – jest to np. krańcowa skłonność do konsumpcji. Sama znajomość oceny punktowej np. 0,75 niewiele nam daje – chcemy wiedzieć, czy to może być też 0,9 lub 0,4, wiedzieć, jakie wartości parametru są bardzo „prawdopodobne”, a jakie raczej wykluczone – chcemy opisać naszą niepewność co do wartości parametru.
2. Badanie istotności wpływu zmiennej. Zastanawiamy się, czy rozważana zmienna objaśniająca ma wpływ na zmienną objaśnianą – np. czy prawdopodobieństwo niespłacenia kredytu zależy od stanu cywilnego kredytobiorcy, lub czy wielkość popytu na odzież jest zależna od regionu kraju w którym mieszka konsument. W regresji liniowej brakowi wpływu zmiennej objaśniającej na zmienną objaśnianą odpowiada zerowanie odpowiedniego parametru regresji – będziemy zainteresowani więc pytaniem czy jest „prawdopodobne”, że ten parametr przyjmuje wartość zero, czy raczej nie.
3. Dobór zmiennych do modelu – ten problem jest odmianą poprzedniego. Zastanawiamy się, czy rozważaną zmienną usunąć z modelu czy nie. Usunięciu zmiennej odpowiada oczywiście zerowanie parametru, więc pytanie pozostaje takie jak w poprzednim przypadku. Jesteśmy zainteresowani usuwaniem nieistotnych zmiennych, bo zwykle preferujemy prostszy model. Przypadek 3 różni się od 2 tym, że w 2 interesuje nas wpływ konkretnej zmiennej, a w 3 chcemy po prostu jak najlepiej odwzorować mechanizm kształtujący zmienną objaśnianą.
Jak widać, istotne jest dla nas zadawanie pytania, czy może nieznany parametr przyjmuje określoną wartość (szczególnie zero, ale nie tylko). Formalnym narzędziem do zadawania takiego pytania jest statystyczny test istotności. Uwaga! Poniżej teoria testu jest tylko intuicyjnie i nieściśle zarysowana, zainteresowanych pełną poprawnością odsyłam do źródeł statystycznych.
TEST t
Przeprowadzanie testu polega na weryfikacji hipotez – stawiamy hipotezę zerową (H0) i hipotezę alternatywną (H1). Ważna jest ich postać, bo przy np. innej postaci H1 mamy inny test i inną konkluzję – więc postaci hipotez trzeba dokładnie wypisać. Następnie potrzebujemy postaci tzw. sprawdzianu testu – czyli statystyki testowej – zmiennej losowej dla której wartość realizacji możemy wyliczyć korzystając z posiadanych danych i na tej podstawie wnioskować o hipotezach. Możemy to zrobić, ponieważ znamy rozkład statystyki testowej przy prawdziwości hipotezy zerowej – to jeden z zasadniczych elementów testu. Następnie badamy, jak ma się uzyskana realizacja statystyki testowej do tego rozkładu. Jeżeli uzyskujemy realizację z obszaru wysokiego prawdopodobieństwa, świadczy to, że H0 MOŻE być prawdziwa – nie udało się temu zaprzeczyć – zaobserwowaliśmy zdarzenie które jest bardzo prawdopodobne przy prawdziwości H0. Jednak nie możemy bezpośrednio wnioskować, że H0 jest prawdziwa – musielibyśmy wiedzieć, że statystyka testowa przy fałszywości hipotezy zerowej ma rozkład przypisujący niskie prawdopodobieństwo zaobserwowanej wartości statystyki. Konkluzja testu brzmi wobec tego „NIE MA PODSTAW DO ODRZUCENIA H0”. Inaczej jest, gdy zaobserwujemy realizację statystyki testowej z obszaru niskiego prawdopodobieństwa w rozkładzie statystyki przy prawdziwości H0 (tzw. obszaru krytycznego) – wnioskujemy wtedy, że gdyby prawdziwa była H0, to musiałoby zajść bardzo mało prawdopodobne zdarzenie. Przypuszczamy, że to się raczej nie stało, że obserwujemy realizację z INNEGO rozkładu niż ten przy prawdziwości H0, więc że H0 nie jest prawdziwa. W tym wypadku konkluzja brzmi – ODRZUCAMY H0 i PRZYJMUJEMY H1. Zauważmy, że taka konkluzja jest bardziej konkretna niż w pierwszym przypadku.
Czyli w dużym skrócie – konkluzja się zmienia w zależności od tego, czy uzyskana wartość statystyki testowej wpada do obszaru krytycznego (odrzucamy H0) czy nie (nie ma podstaw do odrzucania H0).
Warto zawsze przyjrzeć się konstrukcji statystyki testowej – na tej podstawie można wyrobić sobie intuicję, jakie (np. duże czy małe) wartości statystyki odpowiadają prawdziwości H1 a jakie są niesprzeczne z prawdziwością H0.
Jak jednak określa się co to znaczy „mało prawdopodobne” – czyli: Jak dokładnie konstruuje się obszar krytyczny, jak wyznacza się jego granice?
Na samym początku ustalamy tzw. poziom istotności (oznaczany zwykle alfa) – czyli prawdopodobieństwo fałszywego odrzucenia prawdziwej hipotezy zerowej. To jest określenie co uznajemy za „mało prawdopodobne” – godzimy się z tym, że np. błędnie odrzucimy prawdziwą hipotezę zerową raz na 20 przypadków (wtedy a=0,05) lub raz na 100 (a=0,01). Z rozkładu statystyki testowej wyznaczamy zbiór wartości zmiennej taki, że „odcinamy” pod funkcją gęstości dokładnie alfa prawdopodobieństwa – oczywiście nie wszystko jedno jak, lecz tak, był to obszar odpowiadający „jak najlepiej” zaprzeczeniu H0 czyli prawdziwości hipotezy alternatywnej. Granica obszaru krytycznego to tzw. wartość krytyczna. Porównujemy ją ze zrealizowaną (wyliczoną na podstawie zaobserwowanych danych) wartością statystyki i wyprowadzamy konkluzję testu.
W teście typu t stawiamy hipotezę zerową mówiącą, że nieznany parametr regresji bi przyjmuje konkretną wartość bi*, przy hipotezie alternatywnej mówiącej że to nieprawda:
H0:bi=bi*
H1: bi¹bi*
Statystyka testowa ma postać ilorazu: w liczniku jest różnica pomiędzy testowaną wartością a oceną MNK parametru (prawdziwy błąd estymacji), w mianowniku jest błąd średni szacunku parametru: ti = (bi^-bi*)/D(bi^). (Oczywiście zakładamy tu ceteris paribus czyli że „cała reszta założeń – czyli nieuwzględniona w zapisie struktura modelu w H0 i H1 – pozostaje bez zmian”)
Przy prawdziwości H0 ti ma rozkład t-Studenta o T-k stopniach swobody. Obszar krytyczny ucina się symetryczne w ogonach rozkładu (test jest dwustronny a rozkład t-Studenta jest symetryczny) – w każdym ogonie ucina się po alfa/2 prawdopodobieństwa. Wobec tego granice obszaru krytycznego to takie wartości ta dla których P{St(v)>ta}=a/2 lub P{|St(v)|>ta}=a (|.| oznacza wartość bezwzględną, a St(v) oznacza zmienną t-Studenta o v stopniach swobody). Znajdujemy je w tablicach, przy czym jeśli nagłówek tablic podaje wartości ta dla P{St(v)>ta}= a trzeba szukać wartości ta dla a = poziom istotności/2. Jeśli w nagłówku jest wartość bezwzględna jak powyżej, szukamy bezpośrednio dla a = poziom istotności.
Wartości ta z tablic są dodatnie, my porównujemy je z WARTOŚCIĄ BEZWZGLĘDNĄ!!!!!!!! uzyskanej wartości statystyki ti. Jeżeli |ti| > ta odrzucamy H0 i przyjmujemy H1, w przeciwnym wypadku nie ma podstaw do odrzucenia H0.
Powtórzmy, że formalnie konkluzja testu nie może brzmieć „przyjmujemy H0”.
Test t pozwala wnioskować o pojedynczym parametrze regresji – nie możemy łącznie rozpatrywać konkluzji kilku takich testów, własności sekwencji testów nie daje się łatwo kontrolować. Zwykle jesteśmy szczególnie zainteresowani testowaniem pary hipotez o zerowaniu się parametru [H0: bi= 0 vs. H1: bi¹0]. Statystyka testowa przyjmuje wtedy postać ti = bi^ / D(bi^) – jest to tzw. t-ratio. Jeżeli nie ma podstaw do odrzucenia H0 : bi= 0, mówimy, że parametr nie jest statystycznie istotnie różny od zera, lub krótko: „jest nieistotny” (czasem przenosimy to też na zmienną : „zmienna jest nieistotna”).
Zauważmy, że jeżeli na pewnym poziomie istotności a1 nie będzie podstaw do odrzucenia H0, to na każdym innym niższym (bliższym 0) poziomie istotności ta konkluzja zostanie zachowana: wartości ta odpowiadające niższym poziomom istotności są coraz większe, więc skoro |ti|<ta dla a1, to tym bardziej będzie to prawdą dla niższego a więc wyższego ta.
Odwrotnie, jeżeli na poziomie istotności a2 odrzucamy H0, to odrzucimy ją również na dowolnym wyższym poziomie istotności, bo skoro odrzucamy H0 to |ti|>ta, a ponieważ dla wyższego poziomu istotności wartość ta będzie niższa, to ta nierówność zachodzi tym bardziej.
Wynika z tego, że gdybyśmy znali poziom istotności przy którym zmienia się konkluzja testu (oznaczmy go a*), moglibyśmy na tej podstawie przewidzieć wynik weryfikacji badanej pary hipotez na dowolnym innym poziomie istotności: na każdym poziomie istotności większym od a* odrzucimy H0, a na każdym poziomie istotności niższym od a* nie będzie podstaw do odrzucenia H0. Taki „graniczny” poziom istotności nazywa się p-value, i da się go uzyskać następująco: jest to poziom prawdopodobieństwa a odpowiadający takiej wartości ta, która jest równa zrealizowanej wartości |ti|. Dla dowolnego wyższego poziomu istotności ta się zmniejszy, czyli zajdzie |ti|>ta, dla dowolnego niższego poziomu ta się zwiększy, czyli zajdzie |ti|<ta. Tak więc wartość p-value uzyskujemy czytając tablicę „w odwrotną stronę” – tj. wychodząc od wartości krytycznej odczytujemy poziom prawdopodobieństwa. Z tradycyjnych tablic jesteśmy zwykle w stanie tylko znaleźć przedział w którym zawiera się p-value (bo wartości a są podawane co pewien krok); w praktyce korzystamy z funkcji arkusza „rozkład.t.odw” lub analogicznej, i znajdujemy p-value z dużą dokładnością. Powtórzmy, że wartość p-value sumaryzuje wszystkie wyniki testu tej samej pary hipotez na dowolnym poziomie istotności.
Pytanie: jak dobrać poziom istotności do testu? Bardzo często stosuje się poziom 0,05 (co oznacza, że godzimy się z fałszywym odrzuceniem H0 raz na 20 przypadków), w tej liczbie nie ma nic świętego, ale jest przyjętym punktem orientacyjnym. Jeżeli p-value badanej hipotezy wynosi 0,1 lub więcej, to świadczy to raczej przeciwko hipotezie alternatywnej; p-value około 0,01 lub mniejsze świadczy raczej za hipotezą alternatywną i przeciw hipotezie zerowej. Ogólnie jednak każdy musi się zdecydować, jaki poziom istotności jest dla NIEGO przekonujący.
Uwaga! Hipoteza alternatywna w teście t może mieć inną postać. Może zachodzić sytuacja, gdy ze względu na interpretację ekonomiczną jesteśmy a priori przekonani, że parametr bi musi spełniać nierówność bi ³ bi* (lub bi £ bi*), i jesteśmy zainteresowani testowaniem pary hipotez:
H0:bi=bi*
H1: bi³bi* (lub bi £ bi*)
Wykluczamy tu a priori sytuację bi<bi* (lub bi>bi*). W takim wypadku stosujemy test jednostronny, tzn. obszar krytyczny musimy uciąć tylko w jednym ogonie, i nie rozważamy wartości bezwzględnej statystyki testowej. Z tablic trzeba oczytać odpowiednio inną wartość krytyczną – bierzemy wartość odpowiadającą (przy standardowej postaci testu omówionej powyżej) dwa razy większemu poziomowi istotności – tak, aby w jednym ogonie była cała interesująca nas masa prawdopodobieństwa. Szczegóły na wykładzie. Ponieważ w takim wypadku test jest inny, za każdym razem trzeba dokładnie specyfikować postać obydwu hipotez.
Obok rozważania hipotezy mówiącej że dany parametr przyjmuje konkretną wartość, możemy zastanawiać się, jaki zakres wartości może ten parametr „prawdopodobnie” przyjmować. Jak jednak te „prawdopodobne” wartości określić? Wydaje się intuicyjnie uzasadnione, by rozważyć przede wszystkim te wartości, dla których nie możemy odrzucić hipotezy, że rozważany parametr je przyjmuje. Czyli wszystkie takie bi* dla których „nie ma podstaw do odrzucenia H0:bi=bi*. Aby znaleźć te wartości, przywołajmy kryterium testu: |(bi^-bi*)/D(bi^)|< ta; ponieważ D(bi^) > 0 (to pierwiastek kwadratowy), to |bi^-bi*|/D(bi^) < ta <=> |bi^-bi*|< taD(bi^) <=> { bi^-bi*< ta D(bi^) oraz bi^-bi* > - taD(bi^) } <=> { -bi*< - bi^ + taD(bi^) oraz -bi* > - bi^ - taD(bi^) } co po pomnożeniu przez –1 daje { bi* > bi^ - taD(bi^) oraz bi* < bi^ + taD(bi^) }. Ostatecznie więc: bi^ - taD(bi^) < bi* < bi^ + taD(bi^). Tak zdefiniowany przedział jest zwany przedziałem ufności. Ponieważ jego końce zależą od bi^, jest on „przedziałem losowym” lub dokładniej „przedziałem o końcach losowych”. Można pokazać, że jest to najkrótszy przedział losowy pokrywający nieznaną wartość parametru bi z ustalonym prawdopodobieństwem wynoszącym 1-a. Oczywiście kiedy za bi^ i D(bi^) podstawimy konkretne wartości, czyli realizacje (jak to omówiono w Zajęciach 3), otrzymamy pojedynczą realizację najkrótszego przedziału losowego pokrywającego nieznaną wartość parametru bi z ustalonym prawdopodobieństwem wynoszącym 1-a. Błędem byłoby interpretowanie konkretnej wartości przedziału np. (-1,12 ; 2,14) jako: przedziału zawierającego nieznaną wartość parametru z prawdopodobieństwem 1-a. Kiedy mamy realizację przedziału, to jeśli interpretujemy bi jako nieznaną stałą, albo należy do tego przedziału, albo nie, ale nie ma tu miejsca na „prawdopodobieństwo”. Podobnie błędne jest interpretowanie przedziału ufności jako „...najkrótszej realizacji przedziału losowego....” ponieważ przy innej realizacji D(bi^) realizacja przedziału może być krótsza; poza tym trzeba podkreślić, że przedział ufności jest tak skonstruowany aby był „najkrótszym przedziałem losowym..”.
Wartość 1-a nazywamy poziomem ufności. Konstrukcja przedziału ufności – czyli estymacja przedziałowa – daje nam dokładniejszy opis wiedzy o kształtowaniu się nieznanej wartości parametru niż estymacja punktowa – czyli znajomość tylko oceny MNK. Zauważmy, że na mocy konstrukcji przedziału ufności, ocena MNK parametru jest w środku przedziału, i możemy ją zawsze wyliczyć jako średnią z wartości realizacji końców przedziału.
Zgodnie z tym co powiedziano powyżej o wartości ta, ze wzrostem poziomu ufności 1-a (czyli dla mniejszego a) wartość ta rośnie, wobec czego przedział ufności się wydłuża. Odwrotnie, dla większego a, czyli mniejszego 1-a, przedział ufności jest coraz krótszy – przedział 99% będzie dłuższy niż 90%.
Przypomnijmy, że na mocy konstrukcji, dla dowolnej wartości bi* należącej do realizacji przedziału ufności nie będzie podstaw do odrzucenia H0:bi=bi* (oczywiście przy H1: bi¹bi*). Odwrotnie, dla dowolnej wartości bi* spoza realizacji przedziału ufności odrzucimy H0:bi=bi* na rzecz H1:bi¹bi*. Zauważmy więc, że wartość przedziału ufności, inaczej niż p-value, sumaryzuje wszystkie wyniki testu dla ustalonego poziomu istotności a i dowolnej wartości bi*.
Przedstawione narzędzia pozwalają nam wnioskować o pojedynczym parametrze regresji – weryfikować hipotezy oraz prowadzić estymację przedziałową. Lecz czy narzędzia te pozwalają nam na rozwiązanie postawionych wcześniej problemów? Rozważmy w szczególności problemy 2 oraz 3.
Standardowy tryb postępowania z modelem jest następujący: wrzucamy dane do pakietu statystycznego, a ten natychmiast standardowo wyrzuca oceny parametrów, błędy średnie szacunku, t-ratio, przedziały ufności oraz p-value dla hipotezy o zerowaniu każdego parametru. Jeżeli przy j-tym parametrze wartość p-value wynosi 0,001, a przy k-tym 0,2 wnioskujemy, że j-ta zmienna objaśniająca ma istotny wpływ na zmienną objaśnianą, natomiast parametr przy k-tej zmiennej jest nieistotny, więc zmienna ta nie wpływa istotnie na zmienną objaśnianą więc wyrzucamy ją z modelu. Można tak postępować, lecz trzeba sobie zdawać sprawę z wszelkich uproszczeń i ukrytych założeń obecnych w takim rozumowaniu.
Rozważmy tu dwa aspekty:
-hipotezę o istotności wpływu wybranej zmiennej objaśniającej na zmienną objaśnianą
-decyzję o pozostawieniu lub usunięciu wybranej zmiennej z modelu
Czy na podstawie wyniku testu możemy wnioskować o nieistotności wpływu zmiennej? Przecież konkluzja testu nie brzmi: „przyjmujemy H0”, tylko „nie ma podstaw do odrzucenia H0”. Problem: „jak często test zwraca taką konkluzję przy fałszywości H0” związany jest z pojęciem mocy testu – odsyłam do źródeł z zakresu statystyki. Ale niezależnie od rozważania mocy, jeżeli nie ma podstaw do odrzucenia hipotezy że bi wynosi 0, tak samo nie odrzucimy takiej hipotezy dla wszystkich innych wartości parametru wchodzących do przedziału ufności na przekonującym nas poziomie a. Dlaczego spośród tych wartości wyróżniać akurat zero? być może mieszczą się tam również wartości świadczące o silnym ujemnym lub silnym dodatnim wpływie zmiennej – dlaczego więc wyróżniać zero? Być może nasze wnioskowanie o tym parametrze jest po prostu obciążone dużą niepewnością i przedział ufności zawiera diametralnie różne z punktu widzenia interpretacji wartości.
Ponadto musimy rozróżnić wpływ zmiennej w regresji od wpływu wielkości ekonomicznej. W równaniu możemy za zmienną przyjąć bezpośrednio wielkość ekonomiczną lub pewną jej nieliniową transformację (np. logarytm), lecz nieistotność takiej zmiennej w regresji nie musi świadczyć o braku wpływu wielkości ekonomicznej której funkcją jest ta zmienna; może on być bardziej złożony (np. nieliniowy, lub związany z inną transformacją niż zastosowana).
Trzeba tu także podnieść pewien bardzo ważny aspekt naszej analizy. Jakiekolwiek wnioski które wyciągamy są zawsze „w ramach rozważanego modelu”. Zależą one od wszystkich przyjętych przez nas jawnie i niejawnie założeń. Nie ma czegoś takiego jak „zmienna sama w sobie”. Zmienną rozważamy w konkretnym modelu, w innym modelu czyli przy innych założeniach konkluzja testu może być zupełnie inna.
Mam dla Państwa przygotowany ciekawy przykład (tu jest link do arkusza xls)– mamy dwa modele regresji z tą samą zmienną objaśnianą. W modelu 1 jest tylko jedna zmienna objaśniająca A, która okazuje się „nieistotna”. Dodajemy do modelu drugą zmienną B, i wtedy zmienna A okazuje się już być istotna. To oznacza, że nie ma nic a priori istotnego lub nieistotnego w wartościach zmiennej, tylko że zależy to od całego modelu. Od założeń modelowych w ekonometrii nie możemy się oderwać, skazani jesteśmy na porównywanie różnych modeli. Ponadto nawet silna istotność parametru nie przesądza o zależności przyczynowej między zmiennymi – może mieć ona charakter przypadkowy. Bardzo pouczające jest tu rozważanie przykładów tzw. regresji pozornych – oto link do strony z krótkimi przykładami. Proszę więc pamiętać, że zawsze opieramy się na WSZYSTKICH przyjętych przez nas założeniach NARAZ (postaci modelu, doborze wszystkich zmiennych, założeniach stochastycznych itd. itd. Ta piramida założeń ma coraz głębsze piętra na które trudniej jest zejść – czyli uświadomić sobie co tak naprawdę zakładamy przyjmując taką i taką interpretację – ale takie schodzenie do podstaw daje coraz lepsze rozumienie uzyskanych wyników.
Podobnie ma się sprawa z decyzją o usunięciu lub pozostawieniu zmiennej w równaniu. Podkreślmy, że jest to DECYZJA, więc jej wynik zależy od PRZYJĘTYCH REGUŁ DECYZYJNYCH – w szczególności mogą one w ogóle nie uwzględniać testu. Często przyjmowana reguła to zasada odrzucania zmiennej nieistotnej. Jednak pokazaliśmy powyżej, że odpowiada to wyróżnieniu a priori jednej wartości z całego przedziału ufności. Dlaczego wyróżniamy akurat zero? Zwykle wolimy model prostszy od bardziej skomplikowanego – więc jeżeli uproszczenie nieznacznie lub wcale pogarsza własności modelu, decydujemy się na nie. Jednak takie postępowanie ma charakter aprioryczny. Należałoby rozważyć formalnie ile korzystamy na uproszczeniu modelu a ile tracimy na wyrzuceniu danej zmiennej.
Możemy decydować się na pozostawienie w modelu nieistotnych zmiennych jeżeli dzięki temu model posiada pewne pożądane przez nas własności. Ponadto ważne są tu podane powyżej przykłady regresji pozornych – silna istotność parametru nie przesądza o sensowności pozostawienia go w modelu. Podkreślmy tu jeszcze raz, że decyzja zależy od przyjętych zasad (kryteriów), które w przeciwieństwie do wyniku testu wcale nie muszą mieć obiektywnego charakteru. Ważne jest by zasady te były jawne – by zdawać sobie z nich sprawę. Można ten problem rozważać bardziej formalnie (jeśli kogoś to bardzo interesuje, to proszę pytać prof. Osiewalskiego o zastosowanie teorii decyzji).
Widzimy więc, że wynik testu nie przekłada się automatycznie ani na sąd o istotności wpływu badanej zmiennej objaśniającej, ani na decyzję o redukcji modelu. Może się przekładać, ale ważne jest, by zasady które nas do tego prowadzą były jawne i uświadomione. Mogą one również prowadzić do pozostawieniu w modelu zmiennej „nieistotnej” i do usunięcia „istotnej”. Proszę jednak pamiętać, że zasada preferowania prostszego modelu, choć nie może mieć charakteru absolutnego, jest w ekonometrii ważna i często stosowana. Ponadto przy podejmowaniu decyzji o specyfikacji modelu musimy się zastanowić, do czego model ma nam służyć, czyli jakie jego cechy są dla nas najważniejsze. Wrócimy jeszcze do tego zagadnienia.
Podstawowe umiejętności konieczne do rozwiązywania zadań:
Co najczęściej myli się w zadaniach?
Interpretacje przedziału ufności – częste błędy omówiono powyżej.
Przy testowaniu zapomina się o wartości bezwzględnej w statystyce testowej
Interpretuje się realizację statystyki w obszarze krytycznym jako wskazującą na brak podstaw do odrzucenia H0
Przy odczytywaniu wartości krytycznej ta z tablic (zwłaszcza kiedy mają różne nagłówki) bierze się nie takie a jak trzeba
Przy teście zapomina się wypisać dokładnej postaci OBU hipotez i dokładnej konkluzji testu
Proszę ponadto pamiętać, że mając realizację przedziału ufności można wyliczyć ocenę parametru – jest w środku, a dodatkowo znając wartość ta lub (T-k) i mając tablice można wyliczyć błąd średni szacunku parametru i przeprowadzić dowolny test t lub skonstruować przedział na innym poziomie ufności.
Aby ułatwić Państwu nabranie wprawy w obliczeniach oraz wyćwiczenie sobie potrzebnych intuicji, załączam TUTAJ plik w Excelu gdzie w przykładowej regresji prowadzone jest testowanie i estymacja przedziałowa. Proszę w pliku pobawić się parametrami – poziomem ufności i istotności, testowaną wartością bi* etc. i popatrzyć, jak zmienia się wynik testu, jak wygląda realizacja przedziału ufności. Następnie proszę spróbować na papierze otrzymać te same wyniki co w Excelu. Proszę to koniecznie poćwiczyć kilka razy aby nabrać wprawy. Proszę też wypisać interpretacje a potem sprawdzić, czy DOKŁADNIE zgadzają się one z danymi powyżej.
Proszę także przeanalizować ten plik pod kątem realizacji w MS Excel – proszę się przyjrzeć, jakich funkcji użyto, jakie się do nich przesyła argumenty. Szczególnie proszę sprawdzić, jak otrzymać wartość ta oraz jak otrzymać p-value. Dla uzyskania parametrów T oraz k proszę się posługiwać funkcjami ILE.WIERSZY oraz LICZBA.KOLUMN {proszę nie mieć to mnie pretensji, że nazewnictwo jest takie konsekwentne} w odniesieniu do macierzy X. Ponadto proszę zrobić sobie na własny użytek Excelem tablice rozkładu t i przyjrzeć się mniej więcej jakie są wartości krytyczne przy często spotykanych poziomach istotności i różnych stopniach swobody. Chodzi o to, żeby Państwo mieli np. intuicję, co oznacza np. wartość t-ratio (statystyka t dla zerowania się parametru) wynosząca 5 a co wynosząca 1.
Zadanie Laboratoryjne
(Under Construction)
Ćwiczenia
tablicowe:
(zarys)
Wypisanie faktów z wykładów co ma jaki rozkład – odwołanie się do rozkładów związanych z normalnym
Test istotności, mechanizm testowania, budowanie obszaru krytycznego, posługiwanie się tablicami, p-value – interpretacja, rozumienie; wynik testu na innym poziomie istotności... może moc testu? Przejście z przedziału ufności na test i z powrotem
Problem do
przemyślenia na następne zajęcia:
Zauważmy, że wszystkie opisane powyżej narzędzia dotyczą pojedynczego parametru regresji – czyli sytuacji, kiedy znamy status wszystkich zmiennych w modelu i jesteśmy go pewni, i tylko jedna zmienna budzi nasze wątpliwości. Zwykle jednak jest tak, że nie sprowadza się to do jednej konkretnej zmiennej. Proszę się zastanowić ogólnie nad problemem doboru zmiennych do modelu: jakie pytania będziemy chcieli w tym celu zadać? Jakiego rodzaju hipotezy chcielibyśmy weryfikować?