Drzewa decyzyjne to graficzna metoda wspomagania procesu decyzyjnego. Algorytm drzew decyzyjnych jest również stosowany w uczeniu maszynowym do pozyskiwania wiedzy na podstawie przykładów. Drzewo decyzyjne jest budowane w sposób iteracyjny począwszy od korzenia, aż do liści. W kolejnych iteracjach dodawane są węzły składające się z odpowiednio dobranych atrybutów. Atrybuty są wybierane przez tzw. algorytm wyboru cech, w kolejności mającej zmaksymalizować zysk informacyjny z danego węzła. Cały proces ma swój koniec w momencie, gdy wszystkie liście są w tej samej klasie lub gdy zabranie klas do podziału.Budując pełne drzewo istnieje duże prawdopodobieństwo nadmiernego dopasowania algorytmu. Jest ono częstym problemem w przypadku podstawowej wersji drzewa decyzyjnego. Może mieć to negatywny wpływ na wynik jaki osiąga algorytm, dlatego dobrą praktyką jest przycinanie drzewa do pewnej, ustalonej głębokości. Przeuczenia można uniknąć również w inny sposób, budując zmodyfikowaną wersję algorytmu.
from IPython.display import Image
Image(filename="img/tree.png")
Lasy losowe (random forests) będące uogólnieniem idei drzew decyzyjnych zalicza się do procedur agregujących (ensemble method). Działanie lasów losowych polega na klasyfikacji za pomocą grupy drzew decyzyjnych. Końcowa decyzja jest podejmowana w wyniku
głosowania większościowego nad klasami wskazanymi przez poszczególne drzewa decyzyjne. Natomiast każde z drzew jest konstruowane w oparciu o próbę bootstrap, powstałą przez wylosowanie ze zwracaniem N obiektów z ciągu uczącego o liczności N. W każdym węźle podział jest dokonywany jedynie na podstawie k losowo wybranych cech. Ich liczba jest znacznie mniejsza od p, czyli liczby wszystkich cech. Dzięki tej własności lasy losowe mogą być stosowane w problemach o olbrzymiej liczbie cech.
from IPython.display import Image
Image(filename="img/ensemble.png")
Losowy model lasu to zbiór modeli drzewa decyzyjnego, które są łączone w celu tworzenia prognoz. Kiedy tworzymy las losowy, trzeba określić liczbę drzew decyzyjnych, których chcemy użyć do utworzenia modelu. Algorytm lasu losowego pobiera losowo próbki obserwacji z danych treningowych i buduje model drzewa decyzyjnego dla każdej próbki. Losowe próbki są zwykle pobierane z zamianą, co oznacza, że tę samą obserwację można pobrać wiele razy. Końcowym rezultatem jest zbiór drzew decyzyjnych, które są tworzone z różnymi grupami obserwacji danych pochodzących z oryginalnych danych treningowych.
Procedury agregujące rodziny klasyfikatorów (ensemble method) służą ich wzmacnianiu. Do tych metod zaliczamy:
— algorytm bagging – grupy klasyfikatorów (niekoniecznie drzew)
— algorytm boosting – grupy klasyfikatorów (niekoniecznie drzew)
— lasy losowe – grupy drzew decyzyjnych
from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier
import pandas as pd
import numpy as np
Wykorzystamy bardzo popularny zestaw danych – iris:
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df.head()
Dodamy kolumnę z nazwami odmian irysów:
df['nazwa'] = pd.Categorical.from_codes(iris.target, iris.target_names)
df.head()
Zamienimy nazwy odmian na liczby oraz podzielimy dane na treningowe i testowe:
df['nazwa_kat'] = pd.factorize(df['nazwa'])[0]
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
df[['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']], df['nazwa_kat'],test_size=0.25)
I budujemy nasz model:
clf = RandomForestClassifier(n_jobs=2, random_state=0)
clf.fit(X_train, y_train)
clf.predict(X_test)
Jak pewny jest klasyfikator dla każdej obserwacji?
clf.predict_proba(X_test[0:5])
Mamy trzy gatunki irysów, więc [1., 0., 0.] mówi nam, że klasyfikator jest pewien, że dana roślina należydo pierwszej klasy. Biorąc inny przykład, [0.1, 0.4, 0.5] mówi nam, że klasyfikator daje 50% prawdopodobieństwo, że roślina należy do trzeciej klasy, 40% do drugiej i 10% do pierwszej klasy. Ponieważ 50 jest większe niż 40, klasyfikator przewiduje, że roślina należy do trzeciej klasy.
klas = iris.target_names[clf.predict(X_test)]
klas[0:5]
nazwy = iris.target_names[y_test]
nazwy[0:5]
Za pomocą matrycy możemy zobaczyć jak dobry jest nasz klasyfikator. Kolumny są gatunkami przewidywanymi dla danych testowych, a wiersze są rzeczywistymi gatunkami danych testowych. Wartości na przekątnej zostały poprawnie sklasyfikowane, a wszystko poza przekątną zostało sklasyfikowane niepoprawnie.
pd.crosstab(nazwy, klas, rownames=['Nazwy'], colnames=['Klasyfikacja'])
Losowe lasy oferują również dobry wskaźnik wyboru funkcji. Biblioteka Scikit dostarcza dodatkowy wskaźnik, który pokazuje względne znaczenie lub wkład każdej zmiennej w prognozie. Automatycznie oblicza ocenę trafności każdej funkcji w fazie treningu. Następnie skaluje to znaczenie w taki sposób, że suma wszystkich wyników wynosi 1. Ten wynik pomoże nam wybrać najważniejsze zmienne i usunąć te najmniej ważne dla budowania modelu. Losowy las wykorzystuje współczynnik Giniego (w statystyce miara koncentracji (nierównomierności) rozkładu zmiennej losowej), aby obliczyć znaczenie każdej cechy. Indeks Giniego może opisywać ogólną moc wyjaśniającą cechy.
list(zip(X_train, clf.feature_importances_))
Wyraźnie widać, że szerokość płatka (petal width) jest najważniejsza w klasyfikacji.
Podsumowując: Lasy losowe mogą być stosowane zarówno do klasyfikacji, jak i regresji. Jest to również najbardziej elastyczny i łatwy w użyciu algorytm. Las składa się z drzew a im więcej drzew, tym mocniejszy jest las. Losowe lasy tworzą drzewa decyzyjne na losowo wybranych próbkach danych, pobiera prognozy z każdego drzewa i wybiera najlepsze rozwiązanie za pomocą głosowania. Zapewnia również całkiem dobry wskaźnik ważności funkcji.
