Regresja logistyczna jest podobna do regresji liniowej, ale krzywa jest konstruowana przy użyciu logarytmu naturalnego „prawdopodobieństwa” zmiennej docelowej, a nie prawdopodobieństwa. Co więcej, predyktory nie muszą być normalnie dystrybuowane ani nie muszą mieć takiej samej wariancji w każdej grupie.
1 / (1 + e ^ -value)
Gdzie e jest podstawą logarytmów naturalnych (numer Eulera lub funkcja EXP () w arkuszu kalkulacyjnym), a wartość to rzeczywista wartość liczbowa, którą chcesz przekształcić.
Wartości wejściowe (x) są łączone liniowo przy użyciu wag lub wartości współczynników (nazywanych grecką literą Beta) w celu przewidywania wartości wyjściowej (y). Kluczową różnicą od regresji liniowej jest to, że modelowana wartość wyjściowa jest wartością binarną (0 lub 1), a nie wartością liczbową.
Poniżej znajduje się przykład równania regresji logistycznej:
y = e ^ (b0 + b1 x) / (1 + e ^ (b0 + b1 x))
Gdzie y jest przewidywaną wartością wyjściową, b0 jest wartością początkową lub przechwyconą, a b1 jest współczynnikiem dla pojedynczej wartości wejściowej (x). Każda kolumna w danych wejściowych ma powiązany współczynnik b (stała wartość rzeczywista), którą należy poznać na podstawie danych treningowych.
from IPython.display import Image
Image(filename="img/log1.png")
Regresja logistyczna jest jednym z najprostszych i najczęściej stosowanych algorytmów uczenia maszynowego dla klasyfikacji dwóch klas. Jest łatwa w implementacji i może być użyta jako punkt odniesienia dla dowolnego problemu klasyfikacji binarnej. Regresja logistyczna opisuje i szacuje związek między jedną zależną zmienną binarną i zmiennymi niezależnymi.
Rodzaje regresji logistycznej:
- Binarna regresja logistyczna: zmienna docelowa ma tylko dwa możliwe wyniki, takie jak spam lub nie spam, rak lub brak raka.
- Wielomianowa regresja logistyczna: zmienna docelowa ma trzy lub więcej kategorii nominalnych, takich jak przewidywanie typu wina.
- Zwykła regresja logistyczna: zmienna docelowa ma trzy lub więcej kategorii porządkowych, takich jak restauracja lub ocena produktu od 1 do 5.
Image(filename="img/log3.png")
Do tego klasyfikacyjnego problemu użyjemy danych kart kredytowych z banku i postaramy sie wykryć oszustwo:
import numpy as np
import pandas as pd
data = pd.read_csv(r'C:\Users\VFW863\Desktop\en\creditcard.csv');data.head()
Dane dzielimy na zmienne niezależne (X) i zmienną zależną (y), zobaczmy ile obserwacji jest w każdej kategorii:
X = data.iloc[:,:-2]
y = data['Class']
y.value_counts()
Jak widać klasy nie są równe i trzeba uwzględnić tę nierówność, ale zanim do tego dojdziemy, podzielimy dane na treningowe i testowe:
from sklearn import model_selection
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X,y, test_size = 0.20)
Znormalizujemy dane:
from sklearn.preprocessing import StandardScaler
sc_x = StandardScaler()
X_train = sc_x.fit_transform(X_train)
X_test = sc_x.transform(X_test)
Modelujemy dane:
from sklearn.linear_model import LogisticRegression
model = LogisticRegression()
model.fit(X_train, y_train)
y_predicted = model.predict(X_test)
I sprawdźmy jak dobry jest nasz model:
from sklearn.metrics import accuracy_score
accuracy_score(y_test, y_predicted)
99% chyba zbyt dobry… zasługa niezrównoważonych klas
from sklearn.metrics import confusion_matrix
confusion_matrix(y_test, y_predicted)
Podobnie jak wiele innych algorytmów, regresja logistyczna ma wbudowaną metodę obsługi klas niezrównoważonych. Jeśli mamy wysoce niezrównoważone klasy i nie uwzględniamy ich podczas wstępnego przetwarzania, mamy opcję użycia parametru class_weight do ważenia klas, aby upewnić się, że mamy zrównoważoną mieszankę każdej klasy. W szczególności zbalansowany argument automatycznie waży klasy odwrotnie proporcjonalne do ich częstotliwości. Modelujemy dane ponownie:
bal = LogisticRegression(random_state=0, class_weight='balanced')
bal.fit(X_train, y_train)
y_predicted = bal.predict(X_test)
accuracy_score(y_test, y_predicted)
confusion_matrix(y_test, y_predicted)
Wyniki są trochę bardziej prawdopodobne. Warto wspomnieć, że accuracy jako metodę ewaluacji nie powinno stosować się w przypadku dużej nierównowagi.
