Maszyny, w przeciwieństwie do ludzi, nie mogą zrozumieć surowego tekstu, ale widzą liczby. Dlatego tekst musimy przekonwertować na liczby. Istnieją różne podejścia do konwersji tekstu na odpowiednią formę numeryczną. Model Bag of Words i Word Embedding to dwa z najczęściej stosowanych podejść.
Model Worek Słów (Bag of words) wyodrębnia cechy z tekstu. Model ten konwertuje tekst na macierz występowania słów w dokumencie i dotyczy tego, czy dane słowa wystąpiły w dokumencie, czy nie. Nastepnie można wykorzystać go do algorytmów. Nazywa się to „workiem” słów, ponieważ wszelkie informacje o kolejności lub strukturze słów w dokumencie są odrzucane.
import numpy as np
import nltk
Najlepiej logikę tej metody prześledzic na prostym przykładzie. Mamy prosty tekst składajacy się z 3 zdań.
tekst = ['Tom likes blue.', 'Adam likes yellow.' ,'Ann likes red and blue']
Łącznie mamy 11 słów a unikalnych 8. Nastepnym krokiem jest budowa macierzy i policzenie częstotliwości występowania każdego ze słów:
from sklearn.feature_extraction.text import CountVectorizer
vectorizer = CountVectorizer()
vectorizer.fit(tekst)
print(vectorizer.vocabulary_)
vector = vectorizer.transform(tekst)
print(vector.shape)
print(vector.toarray())
Nasz wektor to 3×8: 3 zdania i 8 unikalnych słów
Nasza matryca używa jednego słowa. Ale może to być kombinacja dwóch lub więcej słów, co nazywa się modelem bigramowym lub trygramowym, a podejście ogólne nazywa się modelem n-gramowym. Np: bigramy to w naszym przypadku byłyby: ‚Tom likes’, ‚likes blue’, ‚blue Adam’, ‚Adam likes’…. (po usunięciu interpunkcji).
Podejście z workiem słów działa dobrze w przypadku konwersji tekstu na liczby. Ma jednak jedną wadę. Przypisuje wynik do słowa na podstawie jego wystąpienia w konkretnym dokumencie. Nie bierze pod uwagę faktu, że słowo może również mieć wysoką częstotliwość występowania w innych dokumentach. TFIDF rozwiązuje ten problem przez pomnożenie częstotliwości słowa przez odwrotną częstotliwość dokumentu. TF to skrót od „Term Frequency”, podczas gdy IDF oznacza „Inverse Document Frequency”.
TF-IDF to technika mierząca, jak ważne jest słowo w danym dokumencie.
TF (Term Frequency) mierzy częstotliwość słowa w dokumencie.
TF = (liczba słów w tekście) / (Całkowita liczba słów w tekście)
IDF (Inverse Document Frequency) mierzy rangę konkretnego słowa pod kątem jego trafności w tekście. Słowa stop zawierające niepotrzebne informacje, takie jak „a”, „do” i „i”, mają mniejsze znaczenie pomimo ich wystąpienia.
IDF = (całkowita liczba dokumentów / liczba dokumentów ze słowem t)
Zatem TF-IDF jest produktem TF i IDF:
TF-IDF = TF * IDF
Mając worek słów mozemy go przekształcić w TfIdf i otrzymamy macierz z obliczeniami częstotliwości w stosunku do całego dokumentu:
from sklearn.feature_extraction.text import TfidfTransformer
tfidfconverter = TfidfTransformer()
X = tfidfconverter.fit_transform(vector).toarray(); X
Możemy również pominąć etap worka słów i obliczyć macierz bezpośrednio z tekstu, zwróć uwagę na parametry które mogą pomóc w lepszej definicji macierzy (TfidfVectorizer())
from sklearn.feature_extraction.text import TfidfVectorizer
tfidfconverter = TfidfVectorizer()
X = tfidfconverter.fit_transform(tekst).toarray(); X
Mając numeryczną wersję tekstu możemy ją użyć w uczeniu maszynowym, ale to już w innym poście.
