După cum vă va spune oricine a avut vreodată o relație, emoțiile umane sunt un concept complicat. Acest lucru este valabil mai ales pentru specialiștii în marketing care încearcă să înțeleagă beneficiile calitative - valoarea care depășește funcționalitatea de bază - ale produsului sau serviciului lor. Nu este dificil să înțelegi ce face produsul tău, dar știi cum îi face pe consumatori să se simtă?



Ați face-o dacă ați utiliza analiza sentimentului de ascultare socială pentru a distila meditațiile nefiltrate ale rețelelor sociale ale publicului dvs. țintă în perspective strategice acționabile. Luând toate date sociale disponibile pe Twitter și clasificarea acestuia pentru sentiment pozitiv, negativ sau neutru este o întreprindere majoră și nu există două metode egale. De aceea, HASHTAGS a construit un sistem hibrid de analiză a sentimentelor care combină cele două abordări principale, listele de reguli și învățarea automată.



Liste de reguli

Una dintre cele mai simple modalități de abordare a analizei sentimentelor este utilizarea regulilor sau a dicționarelor create de om. Cu această abordare, sistemul se bazează pe o listă de cuvinte sau fraze care se leagă direct de un anumit sentiment. De exemplu, orice Tweet care conține cuvântul „cinci mari” ar putea fi etichetat ca pozitiv, în timp ce un Tweet care conține „oribil” ar fi negativ. Astfel de sisteme sunt extrem de personalizabile și pot fi extinse pentru a include mii de reguli de cuvinte și expresii.

Dezavantajul este că sistemele de reguli se luptă cu Tweets care se potrivesc cu reguli contradictorii, cum ar fi „Filmul nu a fost atât de oribil cum am anticipat”. Aici, „oribil” ar putea fi etichetat ca negativ, în timp ce „anticipat” ar fi pozitiv. Regulile conflictuale etichetează Tweetul ca fiind neutru, în timp ce unii cititori umani l-ar interpreta ca fiind ușor pozitiv, iar alții, ușor negativ.

O limitare suplimentară a sistemelor bazate pe reguli este dependența de efortul și înțelegerea umană. Limba evoluează rapid (în special pe Twitter), iar un sistem bazat pe reguli necesită ca cineva să furnizeze un flux constant de termeni și fraze noi. Actualizarea unui sistem sentiment nu este întotdeauna o prioritate absolută și un sistem poate deveni învechit rapid. Chiar și cu o monitorizare vigilentă, poate fi dificil să identificăm tendințele lingvistice în schimbare și să stabilim când trebuie adăugate noi reguli.

Învățare automată

Folosesc sisteme mai avansate de analiză a sentimentelor Învățare automată (ML) tehnici (uneori numite și inteligență artificială sau Prelucrarea limbajului natural ). Învățarea automată este o familie de tehnici care utilizează statistici și probabilitate pentru a identifica modele complexe care pot fi utilizate pentru etichetarea articolelor.

Spre deosebire de sistemele bazate pe reguli, sistemele ML sunt suficient de flexibile pentru a detecta similitudini care nu sunt imediat evidente pentru un om. Privind multe, multe exemple, sistemul învață modele care sunt de obicei asociate cu sentimente pozitive, negative sau neutre.



De exemplu, un sistem de analiză a sentimentului ML ar putea constata că Tweets-urile care conțin cuvântul „ploaie” și se termină cu un punct de exclamare sunt negative, în timp ce Tweets-urile cu „ploaie” și două puncte de exclamare sunt pozitive. Un om ar putea să nu observe acest tipar sau să înțeleagă de ce apare, dar un sistem ML îl poate folosi pentru a face predicții foarte precise.

1818 numărul îngerului

În timp ce sistemele de învățare automată pot produce rezultate excelente, ele au însă câteva neajunsuri. Când există multă varietate în limbă, poate fi dificil pentru un sistem ML să treacă prin zgomot pentru a alege modele. Atunci când există modele puternice, acestea pot umbri modele mai puțin frecvente și pot determina sistemul ML să ignore indicii subtili.

Abordarea Sprout’s

Pentru a construi sistemul nostru de analiză a sentimentelor, am proiectat un sistem hibrid care combină cele mai bune abordări bazate pe reguli și de învățare automată. Am analizat zeci de mii de Tweets pentru a identifica locurile în care modelele ML se luptă și am introdus strategii bazate pe reguli pentru a ajuta la depășirea acestor neajunsuri.



Prin completarea modelelor statistice cu înțelegerea umană, am creat un sistem robust care funcționează bine într-o gamă largă de setări.

analiza sentimentului de germeni

Totul despre acuratețe

La suprafață, analiza sentimentelor pare destul de simplă - decideți doar dacă un Tweet este pozitiv, negativ sau neutru. Limbajul și emoțiile umane sunt totuși complicate, iar detectarea sentimentului într-un Tweet reflectă această complexitate.

Luați în considerare aceste tweets. Sunt pozitive, negative sau neutre?

https://twitter.com/alex/status/917406154321420289

12:22 adică

S-ar putea să vă simțiți încrezători în răspunsurile dvs., dar sunt mari șanse ca nu toată lumea să fie de acord cu dvs. Cercetările au arătat că oamenii sunt de acord doar asupra sentimentului Tweets 60-80% a timpului.

S-ar putea să fii sceptic. Am fost și noi.

Pentru a-l testa, doi membri ai echipei noastre Data Science au etichetat exact același set de 1.000 de tweets ca pozitiv, negativ sau neutru. Ne-am gândit că „lucrăm cu Tweets în fiecare zi; probabil că vom avea un acord aproape perfect între noi doi ”.

Am calculat rezultatele și apoi le-am verificat dublu și triplu. Cercetarea a fost la fața locului - am fost de acord doar cu 73% din Tweets.

Provocări în analiza sentimentelor

Cercetările (împreună cu micul nostru experiment) arată că analiza sentimentelor nu este simplă. De ce este atât de complicat? Să parcurgem câteva dintre cele mai mari provocări.

îngerul numărul 1002

Context

Tweeturile sunt un instantaneu minuscul în timp. În timp ce unii sunt singuri, tweet-urile fac adesea parte dintr-o conversație continuă sau informații de referință care au sens doar dacă îl cunoașteți pe autor. Fără aceste indicii, poate fi greu să interpretezi sentimentele unui autor.

Sarcasm

Detectarea sarcasmului este o altă aromă a provocării contextuale. Fără informații suplimentare, sistemele de analiză a sentimentelor confundă adesea sensul literal al cuvintelor cu modul în care sunt intenționate. Sarcasmul este o zonă activă de cercetare academică, deci este posibil să vedem în viitorul apropiat sisteme care înțeleg snark.

Comparații

Sentimentul devine, de asemenea, dificil atunci când Tweeturile fac comparații. Dacă fac cercetări de piață pe legume și pe cineva care transmite mesajele tweet, „Morcovii sunt mai buni decât dovleceii”, este acest Tweet pozitiv sau negativ? Depinde de perspectiva ta. În mod similar, cineva ar putea tweet, „Compania A este mai bună decât Compania B.” Dacă lucrez pentru Compania A, acest Tweet este pozitiv, dar dacă sunt cu Compania B, este negativ.

Emojis

Emojis sunt un limbaj propriu . În timp ce emoji-urile exprimă un sentiment destul de evident, altele sunt mai puțin universale. În timp ce construim sistemul nostru de analiză a sentimentelor, ne-am uitat atent la modul în care oamenii folosesc emojis, constatând că chiar și emoji-urile obișnuite pot provoca confuzie. este aproape la fel de folosit pentru a însemna „atât de fericit că plâng” sau „atât de trist că plâng”. Dacă oamenii nu pot fi de acord cu privire la semnificația unui emoji, nici un sistem de analiză a sentimentelor nu poate.

Definirea neutrului

Chiar și sentimentul „neutru” nu este întotdeauna simplu. Luați în considerare un știre despre un eveniment tragic. Deși suntem de acord cu toții că evenimentul este teribil, majoritatea titlurilor de știri sunt menite să fie declarații de fapt, informative. Sistemele de analiză a sentimentelor sunt concepute pentru a identifica emoția autorului conținutului, nu răspunsul cititorului. Deși poate părea ciudat să vezi știri teribile etichetate drept „neutre”, acestea reflectă intenția autorului de a comunica informații factuale.

Sistemele de analiză a sentimentelor variază și în ceea ce privește modul în care este definit neutrul. Unii consideră că neutralitatea este o categorie captivantă pentru orice Tweet în care sistemul nu poate decide între pozitiv sau negativ. În aceste sisteme, „neutru” este sinonim cu „Nu sunt sigur”. În realitate, însă, există multe Tweets care nu exprimă emoții, cum ar fi exemplul de mai jos.

^ 2 însemnând

Sistemul nostru clasifică în mod explicit tweet-urile non-emoționale ca neutre, mai degrabă decât să folosească neutralul ca etichetă implicită pentru tweet-uri ambigue.

Evaluarea analizei sentimentelor

Cu atâtea provocări în analiza sentimentelor, merită să vă faceți temele înainte de a investi într-un instrument nou. Furnizorii încearcă să contribuie la reducerea complexității, concentrându-se pe statistici despre acuratețea produsului lor. Cu toate acestea, precizia nu este întotdeauna o comparație între mere și mere. Dacă intenționați să utilizați acuratețea ca baston de măsurare, iată câteva lucruri pe care ar trebui să le întrebați.

Precizia raportată este mai mare de 80%?
Întrucât oamenii sunt de acord unii cu alții 60-80% din timp, nu există nicio modalitate de a crea un set de date de test pe care toată lumea va fi de acord să conțină etichetele „corecte” de sentiment. Când vine vorba de sentiment, „corect” este subiectiv. Cu alte cuvinte, nu există un standard de aur pe care să îl folosiți la precizia testării.

Limita superioară a acurateței unui sistem de analiză a sentimentelor va fi întotdeauna acordul la nivel uman: aproximativ 80%. Dacă un furnizor susține o precizie de peste 80%, este o idee bună să fii sceptic. Cercetările actuale sugerează că este chiar puțin probabilă o precizie de 80%; experții de top din domeniu obțin, de obicei, acuratețe la mijlocul anilor '60.

Câte categorii de sentimente sunt prezise?
Unii furnizori evaluează acuratețea numai pe Tweets care au fost identificate de evaluatorii umani ca fiind definitiv pozitive sau negative, excluzând toate Tweets-urile neutre. Este mult mai ușor ca acuratețea unui sistem să pară foarte mare atunci când lucrați cu tweets puternic emoționale și doar două rezultate posibile (pozitive sau negative).

Cu toate acestea, în sălbăticie, majoritatea tweet-urilor sunt neutre sau ambigue. Când un sistem este evaluat doar împotriva pozitivului și a negativului, este imposibil să știm cât de bine face față sistemului Tweets neutre - majoritatea a ceea ce veți vedea de fapt.

Ce tipuri de Tweets sunt incluse în setul lor de testare?
Un sistem de analiză a sentimentelor ar trebui să fie construit și testat pe Tweets reprezentative pentru condițiile din lumea reală. Unele sisteme de analiză a sentimentelor sunt create utilizând Tweets specifice domeniului, care au fost filtrate și curățate pentru a face cât mai ușor de înțeles un sistem.

De exemplu, este posibil ca un furnizor să fi găsit un set de date preexistent care să includă doar tweet-uri puternic emoționale despre industria companiilor aeriene, cu orice spam sau Tweets fără subiect exclus. Acest lucru ar face ca precizia să fie ridicată, dar numai atunci când este utilizată pe tweets foarte similare. Dacă lucrați într-un domeniu diferit sau primiți orice tweet fără subiect sau spam, veți vedea o precizie mult mai mică.

Cât de mare a fost setul de date de testare?
Sistemele de analiză a sentimentelor ar trebui evaluate pe câteva mii de tweets pentru a măsura performanța sistemului în multe scenarii diferite. Nu veți obține o măsură reală a acurateței unui sistem atunci când un sistem este testat doar pe câteva sute de tweets.

numărul 28

Aici, la Sprout, ne-am construit modelul pe o colecție de 50.000 de tweets extrase dintr-un eșantion aleatoriu de pe Twitter. Deoarece Tweeturile noastre nu sunt specifice domeniului, sistemul nostru de analiză a sentimentelor funcționează bine pe o gamă largă de domenii.

În plus, facem predicții separate pentru categoriile pozitive, negative și neutre; nu aplicăm doar neutralitatea atunci când alte predicții eșuează. Acuratețea noastră a fost testată pe 10.000 de tweets, dintre care niciunul nu a fost utilizat pentru a construi sistemul.

Vedeți Sprout’s Sentiment Analysis în direct cu ascultătorii

Toate cercetările din lume nu înlocuiesc evaluarea directă a unui sistem. Oferiți noului nostru sistem de analiză a sentimentelor o încercare în cadrul noului nostru set de instrumente de ascultare socială, Ascultători , și vedeți cum funcționează pentru dvs. În cele din urmă, cel mai bun instrument de ascultare socială este cel care satisface nevoile dvs. și vă ajută să obțineți o valoare mai mare din social. Permiteți-ne să vă ajutăm să începeți astăzi.

Imparte Cu Prietenii Tai: