Analiza sentymentu jest rodzajem eksploracji danych, która mierzy skłonność opinii ludzi do przetwarzania języka naturalnego (NLP), lingwistyki obliczeniowej i analizy tekstu, które są wykorzystywane do wyodrębniania i analizowania subiektywnych informacji z sieci – głównie mediów społecznościowych i podobnych źródeł. Analizowane dane kwantyfikują nastroje i reakcje ogółu społeczeństwa na pewne produkty, ludzi lub idee i ujawniają kontekstową polarność informacji. Analiza sentymentalna znana jest również jako eksploracja opinii.
Istnieją dwa podejścia do analizy sentymentów. Jedne to czysta statystyka, tego rodzaju algorytmy traktują teksty jako Worki słów (BOW), gdzie kolejność słów i jako taki kontekst są ignorowane. Oryginalny tekst jest filtrowany tylko do słów, które są uważane za przenoszące sentyment. Takie modele nie wykorzystują zrozumienia pewnego języka i używają tylko miar statystycznych do klasyfikacji tekstu. Inne podejście to połączenie statystyki i lingwistyki. Algorytmy próbują włączyć zasady gramatyczne, różne techniki przetwarzania języka naturalnego i statystyki, aby szkolić maszynę, aby naprawdę „rozumiała” język.
Analizę sentymentu można również podzielić na dwa rodzaje, w zależności od rodzaju wyników generowanych przez analizę. Categorical / Polarity – Czy ten fragment tekstu był „pozytywny”, „neutralny” lub „negatywny”?
Scalar / Degree – punktacja w predefiniowanej skali, która waha się od bardzo pozytywnej do bardzo negatywnej. Analiza oparta na wartościowości, gdzie uwzględniana jest intensywność sentymentu.
Analiza sentymentu ma zastosowanie w wielu gałęziach przemysłu – doskonale nadaje się do wszystkiego, gdzie można uzyskać nieustrukturyzowane dane opinii o usłudze lub produkcie. Jednym z zastosowań analizy sentymentów jest dla firm, które mają Twitter lub inne konta mediów społecznościowych, aby otrzymywać opinie.
W tym poście przyjrzymy się ostatnim słowom wypowiadanym przez więźniów w celach śmierci – dane z Teksasu, gdzie kara śmierci jest jeszcze wymierzana i wykorzystamy analizę Vader. VADER (Valence Aware Dictionary for sEntiment Reasoning) należy do rodzaju analizy sentymentów opartej na leksykonach słów związanych z sentymentem. W tym podejściu każde ze słów w leksykonie ocenia się, czy jest ono pozytywne czy negatywne, a w wielu przypadkach, jak pozytywne lub negatywne. Ta analiza działa najlepiej na krótszych formach tekstowych jak tweety lub zdania.
Potrzebne biblioteki:
import pandas as pd
import numpy as np
import warnings
warnings.filterwarnings("ignore")
from vaderSentiment.vaderSentiment import SentimentIntensityAnalyzer
Dane pożyczone oczywiście z kaggle:
with open(r'D:\machinelearning\deathrow.csv','rt',encoding='utf-8', errors='ignore') as f:
data = pd.read_csv(f)
data.head()
Będzie namm potrzebne tylko kilka kolumn:
sen=data[['LastName', 'FirstName', 'Age', 'AgeWhenReceived', 'LastStatement']]
sen.head()
Budujemy analizer:
analyser = SentimentIntensityAnalyzer()
def sentiment_analyzer_scores(sentence):
score = analyser.polarity_scores(sentence)
print("{:-<40} {}".format(sentence, str(score)))
Sprawdźmy jak to działa na jednym z przykładów:
sentiment_analyzer_scores(sen['LastStatement'].iloc[2])
Wyniki pozytywne, negatywne i neutralne reprezentują proporcję tekstu, który mieści się w tych kategoriach. Oznacza to, że nasze zdanie zostało ocenione jako 71% neutralne, 25% pozytywne i 0.4% negatywne. Wszystkie powinny sumować się do 1. Wynik Compound jest metryką, która oblicza sumę wszystkich ocen leksykonu, które zostały znormalizowane między -1 (najbardziej skrajnie ujemne) a +1 (najbardziej ekstremalnie dodatnie). Compound wynosi 0.85, co oznacza bardzo wysoki pozytywny sentyment.
Obliczmy compound dla wszystkich zdań:
i=0
compval1=[]
while (i<len(sen)):
k = analyser.polarity_scores(sen.iloc[i]['LastStatement'])
compval1.append(k['compound'])
i = i+1
compval1 = np.array(compval1)
sen['Vader Score']=compval1
sen.head(10)
Na podstawie tych wyników możemy okreslić, które są bardziej pozytywne a które negatywne. Przedziały jak to określimy zależą od nas, załóżmy że wszystkie wyniki powyżej 0.7 są pozytywne, wyniki= 0 oznaczymy null (nie było ostatniego słowa), od 0 do 0.7 są neutralne a ujemne są negatywne:
i = 0
predicted_value = [ ]
while(i<len(sen)):
if ((sen.iloc[i]['Vader Score'] >= 0.7)):
predicted_value.append('positive')
i = i+1
elif ((sen.iloc[i]['Vader Score'] > 0) & (sen.iloc[i]['Vader Score'] < 0.7)):
predicted_value.append('neutral')
i = i+1
elif ((sen.iloc[i]['Vader Score'] == 0)):
predicted_value.append('null')
i = i+1
elif ((sen.iloc[i]['Vader Score'] <= 0)):
predicted_value.append('negative')
i = i+1
sen['predicted sentiment'] = predicted_value
sen.head(10)
Zobaczmy jak się rozkładają sentymenty:
sen['predicted sentiment'].value_counts()
Możemy wywnioskować że znaczna większość ostatnich wypowiedzi była pozytywna czyli okazanie skruchy za popełnione czyny. Negatywne i neutralne wypowiedzi stanowią około 20%
Jeszcze na koniec zobaczmy jakie słowa występowały najczęściej:
tex=[]
for row in sen['LastStatement']:
tex.append(row)
from collections import Counter
join=','.join(tex)
split = join.split()
Counter = Counter(split)
most_occur = Counter.most_common(20)
print(most_occur)
Możnaby jeszcze wykluczyć słowa typu: I, to, a, the, etc ale tym zajmiemy sie kiedy indziej. Dla zaostrzenia apetytu był to tylko wstęp do analizy sentymentu, na pewno jeszcze do niej wrócimy.
