Uczenie maszynowe dzielimy na dwa rodzaje problemów: nadzorowane (supervised) i bez nadzoru (unsupervised). Oba rodzaje dzielą się dalej, my zajmiemy się nadzorowanymi, które mają dwie podgrupy – na regresję i klasyfikację. W przypadku problemów regresyjnych wartość, którą chcemy przewidzieć, jest wartością ciągłą. Z kolei w przypadku problemów z klasyfikacją wartość, chcemy przewidzieć, jest dyskretna. Pod lupę bierzemy problem regresyjny a jako przykład danych – kilka atrybutów które składają sie na cenę domu – a cena domu to wartość ciągła, którą chcemy przewidzieć. Dane są fikcyjne.

Każdy problem jest problemem optymalizacyjnym. Oznacza to, że staramy się znaleźć maksymalną lub minimalną określoną funkcję. Funkcja, którą chcesz zoptymalizować, nazywa się zwykle funkcją straty (lub funkcją kosztów)- loss/cost function. Funkcja straty zdefiniowana jest dla każdego używanego algorytmu i jest to główna miara oceny dokładności wyszkolonego modelu.
Co po prostu oznacza, że strata naszego modelu jest sumą odległości między prognozowaną ceną domu a podstawową prawdą. Ta funkcja strat jest zwana stratami kwadratowymi lub najmniejszymi kwadratami. Chcemy jak najdokładniej zminimalizować funkcję straty, aby przewidywania były jak najbardziej zbliżone do prawdy. Sprawa jest prosta jeśli mamy tylko jedną zmienną niezależną, natomiast przy wielu zmiennych optymalizacja współczynnika nie jest już taka prosta.

Posiadanie większej liczby zmiennych może nam ułatwić wyszkolenie modelu ale z drugiej strony trzeba uważać aby model nie został przeuczony. Dane muszą być filtrowane (anomalie) i eksplorowane, niektóre funkcje mogą być bardziej niszczące niż pomocne, i na przykład mogą powtarzać informacje, które już wyrażają inne funkcje i dodać wysoki poziom szumu do zbioru danych.

Model funkcji wielorakiej:
y = β0 + β1X1 + β2X2 + β3X3

Problemy przeuczenia są bardzo powszechne i istnieją różne sposoby aby ich uniknąć. Najlepiej jest uprościć model, ale bez utraty informacji, czyli kompromis między przeuczeniem a uproszczeniem modelu. Jednym z najczęstszych mechanizmów unikania przeuczenia nazywamy regularyzacją. Model poddany regularyzacji jest modelem, którego funkcja straty zawiera dodatkowy element, który również będzie zminimalizowany. Dwa elementy funkcji straty:- suma odległości między każdą prognozą a jej prawdziwą wartością, a drugi element to element regularyzacji. Sumuje on kwadratowe wartości β i mnoży je przez inny parametr λ. Wynikiem tego jest „karanie” funkcji straty dla wysokich wartości współczynników β. Naszym zadaniem jest maksymalne uproszczenie modelu, zminimalizowanie funkcji straty. Poprzez karanie wartości β dodamy ograniczenie, aby zminimalizować je w jak największym stopniu.

Przygotowujemy dane do modelowania – dzielimy na zmienne zależne (X) i niezależną (y):

Regresja grzbietowa – Ridge Regression¶

Regresja grzbietu jest rozszerzeniem regresji liniowej. Parametr λ jest skalarem, który należy wybrać, najlepiej używając metody cross validation. Regresja grzbietu wymusza niższe współczynniki β, ale nie wymusza ich zerowej wartości. Oznacza to, że nie pozbywamy się nieistotnych cech, ale raczej minimalizujemy ich wpływ na wyszkolony model.

• Zmniejsza parametry, dlatego jest używany głównie do zapobiegania wieloklinowości.
• Zmniejsza złożoność modelu poprzez skurczenie współczynnika.
• Wykorzystuje technikę regularyzacji L2.

Funkcja Ridge () ma argument alfa (λ), Który jest używany do dostrajania modelu. Wyższe alfa tworzy prostsze modele

Regresja Lasso – Lasso Regression¶

Lasso jest kolejnym rozszerzeniem do liniowej regresji i różni się od regresji Ridge’a tym, że termin regularyzacji jest w wartości bezwzględnej. Metoda Lasso przezwycięża wadę regresji Ridge, nie tylko karząc wysokie wartości współczynników β, ale wręcz ustawiając je na zero, jeśli nie są istotne (de facto usuwając je). W związku z tym możemy mieć mniej atrybutów w modelu niż na początku.

• Wykorzystuje technikę regularyzacji L1
• Zwykle jest używany, gdy mamy dużo zmiennych

(1 / (2 n_samples)) ||y – Xw||^2_2 + alpha * ||w||_1

Regresja Elastic Net – Elastic Net Regression¶

Regresja Elastic Net łączy w sobie cechy Ridge oraz Lasso, poprzez zastosowanie dwóch typów norm, których istotność względem siebie kontroluje parametr ρ.

1 / (2 n_samples) ||y – Xw||^2_2

• alpha l1_ratio ||w||_1
• 0.5 alpha (1 – l1_ratio) * ||w||^2_2

Rozdzielimy dane na testowe i treningowe:

Definiujemy nasze modele, w regresjach z wbudowanym cross_validation (ridgecv i lassocv) dodajemy kilka opcji dla alpha, później zobaczymy która wartość jest najlepsza. Jeśli nie wybierzemy alpha – będzie przypisana domyślna wartość -> 1, w prostej regresji alpha =0. Im wyższa wartość alpha tym większe ‚karanie’ – regularyzacja.

Dopasowujemy model do danych treningowych:

Możemy zobaczyć, która wartość alpha dla modelu ridgecv i lassocv została wybrana:

Po dopasowaniu tych 6 modeli zobaczymy, który jest najlepszy – wartość R2:

Najlepsza wartość R2 wyszła nam dla elastic net, ale ponieważ też jest negatywna to oznacza że model jest słaby. Teraz użyjemy metody predict a potem zobaczymy jaki jest błąd dla każdej z regresji:

Błąd też najmniejszy jest dla modelu elastic net, więc z tych wszystkich modeli ten jest najlepszy ale generalnie żaden z tych modeli dla tego problemu nie jest dobry.