Resampling to metoda polegająca na losowaniu powtarzających się próbek z oryginalnych próbek danych. Jest to nieparametryczna metoda wnioskowania statystycznego.
Typowe techniki resamplingu obejmują pobieranie próbek bez wymiany, bootstrapping (pobieranie próbek z wymianą), jackknife (używając podzbiorów), sprawdzanie poprawności (cross-validation) i LOOCV (leave one out cross validation).
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
%matplotlib inline
%precision 4
plt.style.use('ggplot')
Na początek użyjemy prostego próbkowania z wymianą, wygenerujemy próbkę licząca 30 elementów o wartości 0-4:
np.random.seed(222)
np.random.choice(5, 30)
Aby wygenerować próbkę bez wymiany użyjemy tej samej funkcji. Trzeba tylko pamiętać,że ilość próbek (tu 6) nie może być większa niż wartości (8):
np.random.choice(8, 6, replace=False)
Bootstrap¶
Mając jeden zestaw danych, obliczamy statystykę i dostajemy jeden zestaw parametrów statystyki. Nie wiemy jak zmienna jest ta statystyka. Bootstrap tworzy dużą liczbę zestawów danych, które mogliśmy zobaczyć i oblicza statystyki dla każdego z tych zestawów danych. W ten sposób otrzymujemy rozkład statystyki. Kluczem jest strategia tworzenia danych, które „moglibyśmy zobaczyć”. Metoda bootstrap jest techniką ponownego próbkowania używaną do oszacowania statystyk populacji przez próbkowanie zbioru danych z wymianą. Ponowne próbkowanie generuje unikalny rozkład próbkowania na podstawie rzeczywistych danych. Wykorzystuje metody eksperymentalne, a nie metody analityczne, do generowania unikalnego rozkładu próbkowania. Daje obiektywne szacunki, ponieważ opiera się na obiektywnych próbach wszystkich możliwych wyników danych badanych przez badacza.
Co ważne, próbki konstruuje się, rysując obserwacje z dużej próbki danych po jednym na raz i zwracając je do próbki danych po ich wybraniu. Pozwala to na uwzględnienie danej obserwacji w danej małej próbce więcej niż raz.
from IPython.display import Image
Image(filename="img/boot.png")
Poniżej prosty przykład bootstrappingu, nasz zestaw ma tylko 10 obserwacji:
np.random.seed(2)
data = np.random.choice(5, 10);data
Wybieramy/losujemy jedną próbkę – 3:
obserwacja1 = [3]
Ta próbka po wylosowaniu i zapisaniu wartości wraca do zestawu danych, ponawiamy losowanie kilkakrotnie i mamy naszą próbkę:
próbka = [3,2,1,1]
Każdy element z zestawu może być wylosowany kilkakrotnie albo w ogóle, 1 została wyloswana 2 razy mimo, że w zestawie jest tylko raz. Nie musimy implementować tej metody manualnie, scikit-learn ma funkcję resample():
from sklearn.utils import resample
bootstrap = resample (data, replace=True, n_samples=4);bootstrap
Jackknife¶
Jackknifing, który jest podobny do metody bootstrap, jest wykorzystywany we wnioskach statystycznych do oszacowania odchylenia i standardowego błędu (wariancji) statystyki, gdy do jej obliczenia wykorzystywana jest losowa próbka obserwacji. Podstawową ideą estymatora wariancji jackknife jest systematyczne przeliczanie statystycznej oceny, pomijając jedną lub więcej obserwacji naraz z zestawu próbek. Z tego nowego zestawu powtórzeń statystyki można obliczyć szacunkową wartość błędu i oszacować wariancję statystyki.
Użyjemy jackknife do oszacowania odchylenia standardowego:
def jackknife(x, func):
n = len(x)
idx = np.arange(n)
return np.sum(func(x[idx!=i]) for i in range(n))/float(n)
x = np.random.normal(0, 2, 500)
jackknife(x, np.std)
Train and test split¶
Bardzo popularna i łatwa metoda – dzielimy nasze oryginalne dane na zestawy szkoleniowe i testowe. Po znalezieniu odpowiednich współczynników dla modelu za pomocą zestawu treningowego, stosujemy ten model na zestawie testowym i znajdujemy dokładność modelu. Jest to ostateczna dokładność przed zastosowaniem jej do nieznanych danych. Im większa jest ta ostateczna dokładność, tym większa jest nadzieja na uzyskanie dokładnych wyników na nieznanych danych.
Image(filename="img/train.png")
Z wygenerowanych danych zmiennych X i y, podzielimy zestaw na dane treningowe i testowe w stosunku – 80% treningowy i 20% testowy:
from sklearn.model_selection import train_test_split
X, y = np.arange(10).reshape((5, 2)), range(5)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
Cross Validation Split¶
Jeśli dodatkowo podzielimy zestaw treningowy na jego podzestawy treningowe i testowe, a następnie obliczymy końcową dokładność tego podzestawu i wielokrotnie robimy to dla wielu podzbiorów, wybierzmy te współczynniki (model), które dają nam maksymalną dokładność wśród tych podzbiorów i mamy nadzieję, że ten model da maksymalną dokładność ostatecznemu zestawowi testowemu.
Image(filename="img/kfold.png")
from sklearn.model_selection import KFold
kf = KFold(n_splits=2)
kf.get_n_splits(X)
KFold(n_splits=2, shuffle=False)
for train_index, test_index in kf.split(X):
print('train:', train_index, 'test:', test_index)
Leave One Out Cross Validation (LOOCV)¶
Kolejna odmiana metody cross validation. W tego typu sprawdzaniu krzyżowym liczba podzbiorów jest równa liczbie obserwacji, które mamy w zbiorze danych. Następnie uśredniamy WSZYSTKIE podzbiory i budujemy nasz model ze średnią. Testujemy model w stosunku do ostatniego podzbioru. Ponieważ otrzymalibyśmy dużą liczbę zestawów szkoleniowych (równych liczbie próbek), ta metoda jest bardzo kosztowna pod względem obliczeniowym i powinna być stosowana w przypadku małych zbiorów danych. Jeśli zbiór danych jest duży, najprawdopodobniej lepiej byłoby użyć innej metody, na przykład kfold.
from sklearn.model_selection import LeaveOneOut
X = np.array([[1, 2], [3, 4]])
y = np.array([1, 2])
loo = LeaveOneOut()
loo.get_n_splits(X)
for train_index, test_index in loo.split(X):
print('train:', train_index, 'test:', test_index)
Im więcej próbek/podzbiorów mamy, będziemy zmniejszać błąd wynikający z odchylenia (bias), ale zwiększając błąd z powodu wariancji. Cena obliczeniowa również wzrośnie – im więcej próbek, tym więcej czasu zajmie obliczenie i potrzeba więcej pamięci. Przy mniejszej liczbie podzbiorów redukujemy błąd z powodu wariancji, ale błąd z powodu odchylenia byłby większy. Byłoby to również obliczeniowo tańsze. W dużych zestawach danych zazwyczaj zaleca się k = 3, a w mniejszych najlepiej jest używać LOOCV.
