Kalkulator R² - Współczynnik Determinacji, RMSE i MAE

Współczynnik determinacji R² i trzy miary błędu w jednym miejscu

Dwanaście miesięcy sprzedaży i dwanaście prognoz z dowolnego modelu, arkusza albo programu wystarczy, żeby sprawdzić, ile ta prognoza jest warta. W przykładzie poniżej model wyjaśnia 96,2 % zmienności sprzedaży, typowo myli się o 5,099 sztuki przy naturalnym rozrzucie danych 26,25 sztuki i ma lekką skłonność do zaniżania. Kalkulator liczy R², skorygowane R², RMSE, MAE i MAPE, porównuje R² z kwadratem korelacji, żeby wychwycić przesunięcie prognoz, i pokazuje pięć par, które najbardziej psują wynik.

0,962

R² prognozy sprzedaży

19,4 %

tyle wynosi RMSE wobec odchylenia danych

-2,891

R² tych samych prognoz w odwrotnej kolejności

Co właściwie mierzy R²

R² porównuje dwa błędy. Pierwszy to suma kwadratów odchyleń danych od ich średniej, czyli rozrzut, jaki zostałby, gdyby w każdym punkcie przewidywać po prostu średnią. Drugi to suma kwadratów błędów modelu. R² = 1 - (błędy modelu / rozrzut wokół średniej), więc mówi, jaką część tego rozrzutu model zdołał usunąć. Wynik 1 oznacza trafienie w każdy punkt, 0 model nie lepszy od średniej, a wartości ujemne model gorszy od niej.

Z tej definicji wynika coś, czego nie widać w podręcznikowym „R² od 0 do 1". Dolnej granicy nie ma. Przedział od zera do jedynki obowiązuje tylko wtedy, gdy model dopasowano metodą najmniejszych kwadratów z wyrazem wolnym i ocenia się go na tych samych danych. Wtedy R² równa się też kwadratowi korelacji między prognozami a danymi. W każdej innej sytuacji, na przykład przy prognozie na kolejny kwartał albo przy modelu, który ktoś ustawił ręcznie, te dwie liczby się rozjeżdżają, a różnica między nimi jest informacją samą w sobie.

RMSE i MAE mówią o błędzie w jednostkach danych. RMSE to pierwiastek ze średniego kwadratu błędu, więc mocno karze pojedyncze duże pomyłki. MAE to średni błąd bezwzględny, odporniejszy na jeden chybiony punkt. MAPE wyraża błąd w procentach wartości rzeczywistych i przestaje działać, gdy w danych pojawia się zero. Skorygowane R² dodatkowo karze model za liczbę predyktorów, bo w próbie każda dodatkowa zmienna podnosi zwykłe R², nawet gdy niczego nie wnosi.

Osiem prognoz dla tych samych dwunastu miesięcy

Wartości rzeczywiste we wszystkich wierszach są te same: 120 135 128 150 162 158 171 180 176 190 205 198. Zmienia się tylko prognoza. Pierwszy wiersz to punkt odniesienia, kolejne to ta sama prognoza zepsuta na różne sposoby albo prognozy z innych, prostszych metod.

Prognoza	R²	r²	RMSE	MAE
Model: 118 130 133 145 160 165 168 175 182 188 196 203	0,962	0,963	5,099	4,667
Ten sam model przesunięty o +10	0,841	0,963	10,46	9,167
Ten sam model rozciągnięty o 10 % wokół średniej	0,950	0,963	5,897	5,225
Ten sam model, jeden miesiąc chybiony o 30	0,875	0,892	9,274	6,667
Trend liniowy po numerze miesiąca	0,949	0,949	5,909	5,220
Stała prognoza równa średniej, 164,42	0,000	brak	26,25	22,25
Stała prognoza 150	-0,302	brak	29,95	25,58
Prognozy modelu w odwrotnej kolejności	-2,891	0,911	51,78	44,00

W trzech pierwszych wierszach kwadrat korelacji stoi w miejscu, 0,963, bo przesunięcie i rozciągnięcie nie zmieniają tego, że prognozy rosną i maleją razem z danymi. R² spada z 0,962 do 0,841 po przesunięciu, bo liczy prawdziwe odległości. Trend liniowy to jedyny wiersz, w którym obie liczby są równe, 0,949, bo to model najmniejszych kwadratów oceniany na tych samych danych.

Progi z literatury i dla kogo zostały ustalone

Nie ma jednej skali „dobrego R²". Najczęściej cytowane progi pochodzą z nauk społecznych i marketingu, gdzie ludzkie zachowanie zostawia dużo niewyjaśnionego szumu. W pomiarach technicznych i fizycznych te same liczby oznaczałyby model wyraźnie słaby.

Konwencja	Kontekst	Słabe od	Umiarkowane od	Znaczne od
Cohen	regresja w naukach behawioralnych, z wielkości efektu f² 0,02 / 0,15 / 0,35	0,02	0,13	0,26
Chin	modele strukturalne PLS-SEM	0,19	0,33	0,67
Hair, Ringle i Sarstedt	PLS-SEM w badaniach marketingowych	0,25	0,50	0,75
Falk i Miller	minimum dla wyjaśnianej zmiennej w modelowaniu miękkim	wystarczające od 0,10, poniżej zaniedbywalne

Prognoza sprzedaży z przykładu, z R² 0,962, przekracza najwyższy z tych progów z dużym zapasem. Tyle że dla prognozy popytu liczy się raczej to, czy błąd rzędu 5 sztuk jest do przyjęcia przy planowaniu zapasu, a tego żadna tabela progów nie rozstrzygnie.

Jak ocenić własną prognozę krok po kroku

Wartości rzeczywiste - to, co się wydarzyło: sprzedaż, zużycie, wyniki pomiaru. Wklej je rozdzielone spacją, średnikiem albo nową linią, ułamki z przecinkiem.
Wartości przewidziane - prognozy modelu dla tych samych obserwacji, w tej samej kolejności. Mogą pochodzić z regresji, arkusza, programu albo z czyjejś oceny na oko.
Liczba predyktorów - pole opcjonalne. Wpisz, ile zmiennych objaśniających ma model, bez wyrazu wolnego, a kalkulator doda skorygowane R². Przy prostej regresji to 1.
Odczytaj wyniki - R² z opisem, cztery kafelki miar błędu, tabelę z kwadratem korelacji i średnim błędem oraz pięć par, które najbardziej psują dopasowanie. Ostrzeżenia pod tabelą mówią, czy prognozy są przesunięte, odwrócone albo czy model ma za dużo predyktorów na tę liczbę danych.

Ciekawe zależności

R² bywa ujemne i to jest uczciwa informacja. Stała prognoza 150 daje R² -0,302, bo przewidywanie średniej, 164,42, byłoby lepsze. Prognozy modelu wklejone w odwrotnej kolejności dają -2,891, choć kwadrat korelacji wynosi wtedy 0,911. Sama korelacja jest ujemna, -0,954, a r² gubi znak. To najczęstszy ślad pomyłki przy wklejaniu kolumn.

Kwadrat korelacji nie widzi przesunięcia. Po dodaniu 10 do każdej prognozy r² zostaje 0,963, a RMSE rośnie z 5,099 do 10,46. Jeśli kalkulator pokazuje r² wyraźnie wyższe od R², model trafia w kształt, ale nie w poziom, i często wystarczy go przekalibrować.

Jedna para potrafi rządzić całym wynikiem. Wystarczy, że jeden miesiąc zostanie chybiony o 30 sztuk, a R² spada z 0,962 do 0,875, przy czym ta jedna para odpowiada za 70,6 % sumy kwadratów błędów. Dlatego kalkulator pokazuje udział każdej z pięciu najgorszych par.

Każdy predyktor kosztuje. Te same prognozy przy dwunastu obserwacjach dają skorygowane R² 0,958 przy jednym predyktorze, 0,941 przy czterech, 0,862 przy ośmiu i 0,585 przy dziesięciu. Zwykłe R² przez cały czas wynosi 0,962.

Jak interpretować wynik

Z definicji R² wynika prosta zależność, która przekłada go na język błędu: RMSE podzielone przez odchylenie standardowe wartości rzeczywistych (liczone przez n, tak jak w tabeli wyniku) równa się pierwiastkowi z (1 - R²). W przykładzie 5,099 / 26,25 = 19,4 %. Tabela pokazuje, ile z naturalnego rozrzutu danych zostaje w błędach przy danym R².

R²	RMSE jako część odchylenia danych	Interpretacja
1,00	0 %	trafienie w każdy punkt, w danych z pomiaru zwykle sygnał, że prognoza powstała z samych danych
0,99	10,0 %	błąd dziesięć razy mniejszy od rozrzutu
0,95	22,4 %	dobra prognoza operacyjna
0,90	31,6 %	błąd to wciąż prawie jedna trzecia rozrzutu
0,75	50,0 %	połowa rozrzutu zostaje w błędach
0,50	70,7 %	prognoza niewiele lepsza od średniej w ujęciu błędu
0,00	100 %	tyle samo co przewidywanie średniej
-0,30	114,0 %	gorzej niż średnia

Najważniejszy wniosek z tej tabeli: R² 0,90 brzmi imponująco, a zostawia błąd rzędu 31,6 % naturalnego rozrzutu. Czy to dużo, zależy od decyzji, którą prognoza ma wspierać, a nie od samej liczby. Wynik warto zawsze czytać razem z RMSE w jednostkach danych.

Z tej samej zależności wynika pułapka przy porównaniach. R² opisuje błąd względem rozrzutu danych, więc ten sam model na danych o większym rozrzucie wygląda lepiej. Wystarczy wziąć identyczne błędy prognozy, z RMSE 5,099 i MAE 4,667, i przyłożyć je do sprzedaży dwa razy bardziej zmiennej: R² rośnie z 0,962 do 0,991. Przy sprzedaży o połowę stabilniejszej spada do 0,849. Pomyłki są co do sztuki te same, zmienia się tylko mianownik.

R² w praktyce: osiem częstych wątpliwości

Czy R² to to samo co kwadrat współczynnika korelacji?

Tylko dla modelu dopasowanego metodą najmniejszych kwadratów z wyrazem wolnym, ocenianego na danych, na których go dopasowano. W tabeli wyżej dotyczy to wyłącznie trendu liniowego: 0,949 i 0,949. Dla samego modelu wychodzi 0,962 wobec 0,963, a po przesunięciu o 10 już 0,841 wobec 0,963. Taki model dopasujesz w kalkulatorze regresji liniowej, a siłę samego związku sprawdzisz w kalkulatorze korelacji Pearsona.

Dlaczego R² wyszło ujemne?

Bo prognozy mylą się bardziej, niż myliłaby się stała równa średniej danych. Przy prognozach z modelu dopasowanego do tych samych danych to niemożliwe, więc ujemne R² prawie zawsze oznacza jedno z trzech: prognozy dotyczą innych danych niż te, na których model powstał, kolumny zostały przesunięte lub odwrócone przy wklejaniu, albo model jest po prostu zły. Kalkulator wskazuje odwrócenie osobnym ostrzeżeniem, gdy korelacja wychodzi ujemna.

Kiedy patrzeć na skorygowane R², a kiedy na zwykłe?

Skorygowane R² ma sens przy porównywaniu modeli o różnej liczbie predyktorów, dopasowanych do tych samych danych. Zwykłe R² w próbie nigdy nie spada po dodaniu zmiennej, więc sprzyja rozdmuchanym modelom. Przy dwunastu obserwacjach i dziesięciu predyktorach skorygowane R² spada do 0,585, choć zwykłe pokazuje 0,962. Do oceny prognozy na nowych danych żadne z nich nie wystarczy, potrzebne są dane, których model nie widział.

RMSE czy MAE, którą miarę błędu podać?

RMSE, gdy duże pomyłki są szczególnie kosztowne, bo kwadrat wzmacnia każdą z nich. MAE, gdy liczy się typowy błąd i nie chcesz, żeby jeden punkt zdominował ocenę. Różnica między nimi jest sama w sobie sygnałem: w przykładzie z jednym chybionym miesiącem RMSE wynosi 9,274, a MAE 6,667. Przy równomiernych błędach obie liczby są bliskie, 5,099 i 4,667 dla modelu bez tej pomyłki.

Dlaczego zamiast MAPE widzę „brak"?

MAPE dzieli każdy błąd przez wartość rzeczywistą, więc przy zerze w danych dzielenie traci sens. Zamiast wyniku nieskończonego albo pominięcia takiej pary po cichu kalkulator pokazuje „brak" i zostawia pozostałe miary, które zera się nie boją. Przy wartościach bliskich zeru MAPE też potrafi wyjść ogromne, więc wtedy lepiej oprzeć się na MAE.

Czy wysokie R² gwarantuje, że model sprawdzi się na nowych danych?

Nie. R² policzone na danych, na których model powstał, mierzy dopasowanie, a nie przewidywanie. Model z wieloma predyktorami potrafi dopasować się do szumu i dać wysokie R², które znika przy pierwszych nowych obserwacjach. Najprostszy test to odłożyć część danych, dopasować model na reszcie i dopiero dla odłożonej części policzyć R² w tym kalkulatorze.

Czy można porównać R² dwóch prognoz policzonych na różnych danych?

Ostrożnie, bo R² zależy od rozrzutu danych tak samo jak od jakości prognozy. Te same błędy, z RMSE 5,099, dają R² 0,849, 0,962 albo 0,991 zależnie od tego, jak bardzo zmienna jest sama sprzedaż. Dwie prognozy dla różnych sklepów, produktów czy okresów lepiej porównywać przez RMSE albo MAPE, a R² zostawić do porównań na tych samych danych.

Ile par potrzeba, żeby R² coś znaczyło?

Kalkulator przyjmuje od 3 par i poniżej dziesięciu dopisuje ostrzeżenie. Te same prognozy ocenione tylko na pierwszych trzech miesiącach dają R² 0,521 i skorygowane R² 0,041, na czterech 0,838 i 0,757, a na wszystkich dwunastu 0,962 i 0,958. Przy kilku parach jedna obserwacja przestawia wynik o dziesiątki punktów, więc taką liczbę trudno traktować jako ocenę modelu.

Powiązane narzędzia

Kalkulator Z-score

Wynik standaryzowany dla wartości albo całej serii, z percentylem i wartościami z dla 90, 95 i 99 % - Zobacz kalkulator

Kalkulator Regresji Liniowej

Równanie prostej z dwóch serii, istotność nachylenia i prognoza z przedziałem, czyli źródło prognoz do oceny w tym narzędziu - Zobacz kalkulator

Kalkulator Korelacji Pearsona

Współczynnik r z wartością p i przedziałem ufności, razem ze znakiem, który r² gubi - Zobacz kalkulator

Kalkulator Współczynnika Zmienności

Rozrzut serii w relacji do jej średniej, przydatny do porównania RMSE z poziomem danych - Zobacz kalkulator

Kalkulator Skośności

Asymetria rozkładu błędów, gdy model myli się częściej w jedną stronę - Zobacz kalkulator

Kalkulator Kurtozy

Grube ogony rozkładu błędów, czyli skłonność do pojedynczych dużych pomyłek - Zobacz kalkulator

Kalkulator Odchylenia Standardowego

Odchylenie serii danych, czyli mianownik, do którego warto przyłożyć RMSE - Zobacz kalkulator