R² 0,950, a jeden miesiąc niesie 91 procent błędu

Plan zużycia gazu na dwanaście miesięcy: 1605 m³. Rzeczywistość: 1671 m³. Chybienie o 66 m³, czyli 4,11 procent, a współczynnik determinacji dla tej prognozy wynosi 0,950. Każdy podręcznik powie, że to bardzo dobry wynik.

Nie jest.

Bo z tych 66 m³ nadwyżki 67 przypada na jeden miesiąc. Reszta roku zeszła się z planem tak dokładnie, że gdyby wyciąć marzec, roczna różnica spadłaby do 1 m³ na 1410. Jednego metra sześciennego. To jest cały ten tekst w dwóch zdaniach: R² 0,950 opisywało właściwie jedną parę liczb, a trzy różne miary trzeba było zestawić obok siebie, żeby to zobaczyć.

Poniżej rozpisany cały rachunek, krok po kroku, tymi samymi narzędziami, których użyłam. Dane są z jednego budynku, jednego licznika i dwunastu odczytów.

Parametry projektu, czyli co w ogóle liczymy

Zadanie brzmiało prosto: sprawdzić, czy roczny plan zużycia gazu dla domu jednorodzinnego był sensowny, i jeżeli nie, to gdzie się rozjechał.

Dane wejściowe są dwa. Pierwsze to stopniodni grzewcze każdego miesiąca, liczone wobec temperatury bazowej 15 °C. To standardowa miara zapotrzebowania na ciepło: sumuje się różnice między bazą a średnią dobową temperaturą za wszystkie dni, w których było chłodniej. Im zimniejszy i dłuższy miesiąc, tym większa liczba. Lipiec i sierpień wyszły zerowe, styczeń 510.

Drugie to odczyt licznika gazu, miesiąc po miesiącu, w metrach sześciennych. Ten sam licznik obsługuje ogrzewanie i ciepłą wodę, więc nawet w lipcu coś się na nim kręci.

Do tego trzecia kolumna: plan. Prognoza rozpisana przed sezonem na podstawie poprzedniego roku, ta sama, którą widać w rozliczeniu prognozowym.

Patrząc na samą kolumnę odchyleń, wszystko jest widać gołym okiem już teraz. Ale całą rzecz robię po to, żeby pokazać, co widzą, a czego nie widzą trzy miary, którymi takie prognozy ocenia się zawodowo. Bo kolumny odchyleń nikt zwykle nie ogląda. Ogląda się jedną liczbę na końcu raportu.

Etap pierwszy: czy zużycie w ogóle idzie za pogodą

Zanim ocenię plan, muszę wiedzieć, czy dane mają sens. Jeżeli zużycie gazu nie zależy od stopniodni, to nie ma czego prognozować i cała reszta jest bez znaczenia.

Wrzuciłam obie serie do kalkulatora regresji liniowej: stopniodni jako X, odczyty jako Y.

Wyszło równanie y = 35,76 + 0,4713 · x. Obie liczby mają fizyczny sens i to jest pierwszy sygnał, że dane są w porządku.

Wyraz wolny 35,76 m³ to zużycie przy zerowym zapotrzebowaniu na ogrzewanie, czyli ciepła woda. Zgadza się z lipcem i sierpniem, gdzie licznik pokazał 33 i 36. Nachylenie 0,4713 mówi, że każdy dodatkowy stopniodzień kosztuje 0,47 m³ gazu. To jest w praktyce miara izolacji budynku: im gorszy dom, tym bardziej stroma ta prosta.

Statystyka też się broni. R² wynosi 0,961, wartość p dla nachylenia jest poniżej 0,0001 przy 10 stopniach swobody, a przedział ufności dla nachylenia to od 0,4048 do 0,5378 i nie zawiera zera. Związek jest realny, nie przypadkowy.

Przy okazji jedna rzecz, którą łatwo przeoczyć, a która przydaje się później. Kalkulator dla prognozy przy 400 stopniodniach podaje 224,3 m³ i dwa różne przedziały. Przedział predykcji dla pojedynczego nowego miesiąca to od 177,7 do 270,9. Przedział ufności dla średniej przy tym samym X to od 207,0 do 241,6, czyli ponad dwa razy węższy.

To nie jest ta sama rzecz i mylenie ich to klasyk. Węższy przedział odpowiada na pytanie "gdzie leży średnie zużycie wszystkich takich miesięcy". Szerszy odpowiada na pytanie "ile zużyję w marcu przyszłego roku". Drugie pytanie jest trudniejsze, bo do niepewności co do położenia prostej dochodzi zwykły rozrzut pojedynczego miesiąca wokół niej.

I jeszcze coś. Kalkulator w tabeli reszt zaznaczył jedną parę na czerwono: marzec, reszta +56,57, przy błędzie standardowym estymacji 19,42. Próg to dwie takie jednostki, czyli 38,84. Marzec przekracza go o połowę, wychodzi na 2,91 błędu standardowego ponad prostą. Żadna inna para nawet się nie zbliża, najgorsza kolejna to luty z resztą -14,84.

Czyli już regresja mówi, gdzie szukać. Ale regresji nie użyłam do oceny planu, tylko do sprawdzenia, czy dane są wiarygodne. To dwie różne robotki.

Etap drugi: ocena planu, a nie modelu

Teraz właściwe pytanie. Plan na rok był ustalony przed sezonem i nie był dopasowywany do niczego. To zwykła prognoza, którą chcę ocenić.

Do tego jest kalkulator współczynnika determinacji R². Przyjmuje dwie kolumny: co się naprawdę wydarzyło i co przewidywał plan. Nie dopasowuje żadnej prostej, tylko ocenia gotową prognozę.

Pierwsza liczba: R² = 0,950. Plan wyjaśnia 95 procent zmienności odczytów. Skorygowane R² przy jednym predyktorze to 0,945. Gdyby raport kończył się w tym miejscu, wszyscy poszliby do domu zadowoleni.

Ale kalkulator podaje obok trzy inne miary i dopiero razem zaczynają mówić.

Zatrzymajmy się przy dwóch wierszach ze środka. RMSE 20,26 wobec MAE 10,33. Stosunek prawie dokładnie dwa do jednego.

To nie jest ciekawostka, tylko diagnoza. MAE bierze błędy po wartości bezwzględnej i uśrednia. RMSE podnosi je do kwadratu, uśrednia i dopiero potem pierwiastkuje, więc jeden duży błąd waży w nim nieporównanie więcej niż pięć małych. Gdyby wszystkie miesiące pudłowały mniej więcej po równo, obie liczby byłyby blisko siebie. Kiedy RMSE jest wyraźnie większy od MAE, w danych siedzi jeden wyskok albo kilka.

Kalkulator nie kazał zgadywać którędy. Wypisał pięć par z największym błędem i dołożył kolumnę z ich udziałem w sumie kwadratów.

91,2 procent. Suma kwadratów błędów wynosi 4924, z czego na marzec przypada 4489. Pozostałe jedenaście miesięcy razem daje 435.

I tu wraca to R² 0,950, od którego zaczęłam. Skoro liczy się je jako jeden minus stosunek sumy kwadratów błędów do sumy kwadratów odchyleń od średniej, a w liczniku 91 procent to jeden miesiąc, to ta pochwalna liczba w dziewięciu dziesiątych opisuje marzec. Nie plan. Marzec.

Dlaczego wysokie R² nie broni prognozy

Warto rozebrać, skąd się to bierze, bo mechanizm jest ogólny i dotyczy każdych danych z wyraźną sezonowością.

R² porównuje prognozę z najgłupszym możliwym konkurentem: strzelaniem zawsze średnią. Tu średnia roczna to 139,25 m³ miesięcznie, a odchylenie odczytów wynosi 90,25. Suma kwadratów wokół średniej to 97 742. To jest mianownik.

Zużycie gazu zmienia się w ciągu roku od 33 do 268 m³, czyli ośmiokrotnie. Każda prognoza, która po prostu wie, że zimą pali się więcej niż latem, zbije ten mianownik do szczątków. Dlatego w danych sezonowych R² powyżej 0,9 jest normą, a nie osiągnięciem. Wysokie R² mówi tu wyłącznie: "prognoza wie, że istnieje zima". Za to nie należą się gratulacje.

Jest jeszcze druga rzecz w tym samym wyniku, łatwa do przegapienia. Kalkulator podał obok siebie R² 0,950 i r² 0,959, czyli kwadrat korelacji prognoz z odczytami. Te dwie liczby są równe tylko wtedy, gdy model dopasowano metodą najmniejszych kwadratów na tych samych danych. Tutaj plan powstał wcześniej i nikt go nie dopasowywał, więc się rozjeżdżają. Różnica nie jest duża, ale kierunek jest informacją: prognoza chodzi z danymi w parze lepiej, niż trafia w ich poziom. Potwierdza to średni błąd -5,5 m³, czyli systematyczne zaniżanie.

Tego, że plan zaniża, R² nie powie nigdy. Można przesunąć całą prognozę o stałą w dół i R² prawie nie drgnie.

Etap trzeci: który to konkretnie miesiąc i jak bardzo odstaje

Wiem już, że jeden miesiąc niesie prawie cały błąd, i wiem z tabeli, że to marzec. Zostało pytanie ilościowe: czy to wyskok na tyle duży, żeby nazwać go wartością odstającą, czy tylko gorszy miesiąc.

Do tego bierze się kalkulator z-score w trybie serii. Wrzucam do niego nie odczyty, tylko dwanaście odchyleń: rzeczywistość minus plan, miesiąc po miesiącu.

Marzec: z = 3,02. Trzy odchylenia standardowe od średniej odchyleń. Wszystkie pozostałe miesiące mieszczą się w przedziale od -0,66 do 0,37, czyli nie zbliżają się nawet do jednego odchylenia. Nie ma tu grupy gorszych miesięcy. Jest jedenaście spokojnych i jeden.

Kalkulator dorzucił przy okazji uwagę, której nie miałam w planie tekstu, a która zmienia sposób czytania tego wyniku: przy serii dwunastu liczb żadne z nie może przekroczyć 3,18. To nie jest cecha tych danych, tylko twarda granica, bo pojedyncza wartość skrajna sama podbija odchylenie standardowe, którym się ją potem dzieli. Ogólnie limit wynosi (n - 1) podzielone przez pierwiastek z n.

Konsekwencja jest praktyczna i dość nieprzyjemna. Popularna reguła "z powyżej 3 to wartość odstająca" w krótkich seriach jest niemal niewykonalna: przy dziesięciu obserwacjach sufit to 2,85, więc nic nigdy nie przekroczy trójki, choćby odstawało jak stodoła na środku pola. Nasze 3,02 przy suficie 3,18 to nie jest "trochę ponad próg". To jest 95 procent maksimum, jakie w dwunastu liczbach da się w ogóle osiągnąć.

Bilans projektu

Cztery miary policzone dwa razy: na komplecie dwunastu miesięcy i po wyjęciu marca.

Ostatni wiersz jest tym, po co cały ten rachunek powstał. Plan na rok, oceniony na jedenastu miesiącach, chybił o jeden metr sześcienny na tysiąc czterysta dziesięć. Siedem setnych procenta. Prognoza była znakomita i nikt by się o tym nie dowiedział, patrząc na R² 0,950 i wzruszając ramionami, że "no, dziewięćdziesiąt pięć procent, w porządku".

Bo R² 0,950 opisywało tu jednocześnie dwie rzeczy naraz: bardzo dobrą prognozę i jedno zdarzenie, które z prognozowaniem nie ma nic wspólnego.

Cztery rzeczy, które z tego wynikają

RMSE i MAE czyta się razem, nigdy osobno. Sam RMSE nie mówi nic o rozkładzie błędu. Dopiero stosunek do MAE zdradza, czy błąd jest rozsmarowany po wszystkich obserwacjach, czy skupiony w jednej. Granica jest miękka, ale około 1,3 i wyżej warto już zajrzeć do pojedynczych par. Tutaj było 1,96.

R² w danych sezonowych zaczyna się od 0,9 i to nie jest komplement. Ośmiokrotna różnica między lipcem a styczniem napompuje mianownik tak, że prawie każda prognoza wypadnie świetnie. Ta sama liczba w danych bez sezonowości, gdzie rozrzut jest mały, znaczyłaby zupełnie co innego.

Miara na całej serii i miara na pojedynczych parach to dwa różne narzędzia. R², RMSE i MAPE sprowadzają dwanaście liczb do jednej i po drodze gubią informację o tym, skąd ta jedna pochodzi. Tabela udziałów w sumie kwadratów albo z-score na odchyleniach przywracają to, co streszczenie wyrzuciło.

Wartość odstająca to nie to samo co pomyłka. Marzec nie był błędem odczytu ani literówką. Był miesiącem, w którym wydarzyło się coś jednorazowego. Usunięcie go z oceny prognozy jest uzasadnione, bo oceniam prognozę, a nie zdarzenie. Usunięcie go z modelu, który ma przewidywać przyszłe zużycie, to już decyzja wymagająca argumentu, bo przyszłe marce też mogą mieć swoje niespodzianki.

Gdyby liczyć ten model jeszcze raz

Została jedna rzecz, której nie zrobiłabym tak samo.

Regresję z pierwszego etapu policzyłam na wszystkich dwunastu parach, razem z marcem. Dostałam wtedy nachylenie 0,4713 i wyraz wolny 35,76. Ta sama regresja bez marca daje nachylenie 0,4497 i wyraz wolny 35,08, a jej R² skacze z 0,961 na 0,9989.

Nachylenie spadło o 4,6 procent. Brzmi jak drobiazg, dopóki się nie przełoży na prognozę: przy 400 stopniodniach model z marcem przewiduje 224,3 m³, a model bez marca 215,0 m³. Dziewięć metrów sześciennych różnicy na jednym zimowym miesiącu, w tę samą stronę, co roku.

Więc kolejność, która wyszła z tej roboty, jest odwrotna do intuicyjnej. Najpierw z-score na resztach albo na odchyleniach. Potem decyzja, co z wyskokiem zrobić. Dopiero na końcu współczynniki i R², które chce się pokazać komuś innemu. Odwrotnie liczy się ładne liczby na danych, o których jeszcze się nie wie, co w nich siedzi.

Pytania, które przy takich danych wracają

Czy R² 0,95 to dobry wynik?

Zależy od danych, nie od progu. W szeregach sezonowych, gdzie wartości zmieniają się kilkukrotnie w ciągu roku, 0,95 to punkt wyjścia, bo rozrzut wokół średniej jest ogromny i łatwo go zbić. W danych o małym rozrzucie ta sama liczba byłaby bardzo mocna. Zawsze warto zestawić ją z RMSE i MAE wyrażonymi w jednostkach, które się rozumie.

Co oznacza, że RMSE jest dwa razy większy od MAE?

Że błędy są nierówne i kilka dużych dominuje nad resztą. RMSE podnosi błąd do kwadratu, więc pomyłka o 67 waży w nim tyle, co dwadzieścia sześć pomyłek o 13. Gdy obie miary są blisko siebie, prognoza pudłuje równomiernie. Tutaj stosunek 1,96 wskazał na jeden miesiąc, zanim jeszcze zajrzałam do tabeli.

Kiedy wolno usunąć wartość odstającą z analizy?

Gdy potrafi się nazwać przyczynę i gdy cel analizy tej przyczyny nie obejmuje. Przy ocenie trafności prognozy wyjęcie jednorazowego zdarzenia jest uczciwe, bo prognoza nie miała szans go przewidzieć. Przy budowaniu modelu na przyszłość to już wybór, który trzeba uzasadnić. Najbezpieczniej podać obie wersje, tak jak w tabeli bilansu wyżej.

Dlaczego z-score w krótkiej serii nie przekracza 3?

Bo sama wartość odstająca podnosi odchylenie standardowe, przez które się ją dzieli. Górna granica to (n - 1) podzielone przez pierwiastek z n: przy dwunastu obserwacjach 3,18, przy dziesięciu 2,85, przy pięciu tylko 1,79. Reguła "powyżej 3" ma sens dopiero przy kilkudziesięciu obserwacjach, wcześniej odsiewa nie to, co powinna.

Czym różni się przedział ufności od przedziału predykcji?

Przedział ufności odpowiada na pytanie o średnią wszystkich obserwacji przy danym X, przedział predykcji o pojedynczą nową obserwację. Drugi jest zawsze szerszy, bo dokłada naturalny rozrzut wokół prostej. W tym przykładzie przy 400 stopniodniach było to 207,0 do 241,6 wobec 177,7 do 270,9, czyli ponad dwukrotna różnica szerokości.

Czy wysokie R² znaczy, że model dobrze przewidzi przyszłość?

Nie, i kalkulator R² mówi to wprost w stopce. Wszystkie te miary ocenia się na danych, które już się zdarzyły. Nie sprawdzają ani poprawności budowy modelu, ani jego zachowania na nowych obserwacjach. Do tego potrzebny jest osobny zbiór testowy albo po prostu kolejny rok odczytów.

Narzędzia omawiane w tym artykule

Kalkulator Regresji Liniowej - dopasowuje prostą do dwóch serii sparowanych obserwacji, podaje równanie, R², błędy standardowe współczynników, wartość p, tabelę reszt oraz osobno przedział ufności i przedział predykcji dla prognozy. Zobacz kalkulator

Kalkulator Współczynnika Determinacji R² - ocenia gotową prognozę wobec rzeczywistości: R², skorygowane R², RMSE, MAE, MAPE, średni błąd i ranking par z największym udziałem w sumie kwadratów. Nie dopasowuje żadnej prostej. Zobacz kalkulator

Kalkulator Z-score - standaryzuje wartość albo całą serię, wskazuje obserwacje skrajne, przelicza z na percentyl i procent na wartość z, jedno- i dwustronnie. Zobacz kalkulator

Kalkulator z-score ma też gotowe warianty dla najczęściej wyszukiwanych wartości:

IQ 70 a percentyl · IQ 85 a percentyl · IQ 100 a percentyl · IQ 110 a percentyl · IQ 115 a percentyl · IQ 120 a percentyl · IQ 125 a percentyl · IQ 130 a percentyl · IQ 140 a percentyl · IQ 145 a percentyl

Wartość z dla 75 procent · dla 80 procent · dla 85 procent · dla 90 procent · dla 95 procent · dla 98 procent · dla 99 procent

Więcej narzędzi z kategorii Statystyka

Kalkulator Korelacji Pearsona - siła i kierunek związku dwóch zmiennych, z wartością p i przedziałem ufności dla r. Zobacz kalkulator

Kalkulator Skośności Rozkładu - cztery miary asymetrii obok siebie, z kwartylami liczonymi tą samą metodą co w kalkulatorze rozstępu. Zobacz kalkulator

Kalkulator Kurtozy - jak ciężkie są ogony rozkładu i czy odchylenie od normalnego jest istotne. Zobacz kalkulator

Kalkulator Percentyla - pozycja wartości w zbiorze liczona empirycznie z danych, bez zakładania rozkładu normalnego. Zobacz kalkulator

Kalkulator Współczynnika Zmienności - rozrzut wyrażony w procentach średniej, do porównywania serii w różnych jednostkach. Zobacz kalkulator

Kalkulator Rozstępu Międzykwartylowego - IQR i klasyczny test na wartości odstające regułą półtora rozstępu, alternatywa dla z-score w krótkich seriach. Zobacz kalkulator

Kalkulator Mody i Dominanty - wartość najczęstsza, rozkłady dwumodalne i przypadki bez dominanty. Zobacz kalkulator

Kalkulator Testu Fishera - dokładny test niezależności dla tabel dwa na dwa przy małych liczebnościach. Zobacz kalkulator

Kalkulator Testu Wilcoxona - nieparametryczne porównanie dwóch pomiarów, gdy rozkład nie jest normalny. Zobacz kalkulator