Kot vam bo povedal vsak, ki je bil kdaj v zvezi, so človeška čustva zapleten pojem. To še posebej velja za tržnike, ki poskušajo razumeti kakovostne koristi - vrednost, ki presega osnovno funkcionalnost - njihovega izdelka ali storitve. Ni težko razumeti, kaj počne vaš izdelek, toda ali veste, kako se počutijo vaši potrošniki?



Bi, če bi uporabili analizo sentimenta poslušanja v družbi, da bi nefiltrirana razmišljanja ciljne publike preoblikovali v izvedljiva strateška spoznanja. Ob vseh socialni podatki na voljo prek Twitterja in njegovo razvrščanje med pozitivne, negativne ali nevtralne občutke je pomembno in nobena od metod ni enakovredna. Zato je HASHTAGS zgradil hibridni sistem analize sentimenta, ki združuje dva primarna pristopa, sezname pravil in strojno učenje.



Seznami pravil

Eden najpreprostejših načinov reševanja analize sentimenta je uporaba človeških pravil ali slovarjev. S tem pristopom se sistem opira na seznam besed ali besednih zvez, ki neposredno preslikajo določeno razpoloženje. Na primer, vsak tvit, ki vsebuje besedo 'petica', je lahko označen kot pozitiven, tvit, ki vsebuje 'grozno', pa negativen. Takšni sistemi so zelo prilagodljivi in ​​jih je mogoče razširiti na tisoče besednih in besednih pravil.

Slaba stran je, da se sistemi pravil borijo s tvitami, ki ustrezajo nasprotujočim si pravilom, na primer »Film ni bil tako grozljiv, kot sem predvideval«. Tu bi lahko 'grozno' označili za negativno, medtem ko bi bilo 'pričakovano' pozitivno. V nasprotju s pravili je Tweet označen kot nevtralen, medtem ko bi ga nekateri bralci razumeli kot rahlo pozitiven, drugi pa rahlo negativno.

Dodatna omejitev sistemov, ki temeljijo na pravilih, je zanašanje na človeški trud in razumevanje. Jezik se hitro razvija (zlasti na Twitterju), sistem, ki temelji na pravilih, pa zahteva, da nekdo zagotavlja stalen tok novih izrazov in besednih zvez. Posodobitev sistema razpoloženja ni vedno glavna prednostna naloga in sistem lahko hitro zastareli. Tudi s budnim nadzorom je težko prepoznati spreminjajoče se jezikovne trende in določiti, kdaj je treba dodati nova pravila.

Strojno učenje

Uporabljajo se bolj napredni sistemi za analizo sentimenta Strojno učenje (ML) tehnike (včasih imenovane tudi umetna inteligenca oz Obdelava naravnega jezika ). Strojno učenje je družina tehnik, ki s pomočjo statistike in verjetnosti prepoznajo zapletene vzorce, s katerimi lahko označujejo predmete.

Za razliko od sistemov, ki temeljijo na pravilih, so sistemi ML dovolj prilagodljivi, da zaznajo podobnosti, ki človeku niso takoj očitne. Z ogledom številnih primerov se sistem nauči vzorcev, ki so običajno povezani s pozitivnimi, negativnimi ali nevtralnimi občutki.



Na primer, sistem analize razpoloženja ML lahko ugotovi, da so tviti, ki vsebujejo besedo »dež« in se končajo z enim klicajem, negativni, medtem ko so tviti z »dežjem« in dvema klicajoma pozitivni. Človek tega vzorca morda ne bo opazil ali razumel, zakaj se pojavlja, vendar ga sistem ML lahko uporablja za zelo natančne napovedi.

Sistemi strojnega učenja sicer lahko dajo odlične rezultate, vendar imajo nekaj pomanjkljivosti. Ko je v jeziku veliko raznolikosti, lahko sistem ML težko prebere hrup in izbere vzorce. Ko obstajajo močni vzorci, lahko zasenčijo manj pogoste vzorce in povzročijo, da sistem ML ignorira subtilne namige.

Sproutov pristop

Za izdelavo našega sistema za analizo sentimenta smo zasnovali hibridni sistem, ki združuje najboljše iz pristopov, ki temeljijo na pravilih in strojnem učenju. Analizirali smo na desettisoče tvitov, da bi ugotovili kraje, kjer se modeli ML borijo, in uvedli strategije, ki temeljijo na pravilih, da bi pomagale premagati te pomanjkljivosti.



Z dopolnjevanjem statističnih modelov s človeškim razumevanjem smo zgradili trden sistem, ki se dobro obnese v najrazličnejših nastavitvah.

analiza vzgoja kalčkov

Vse o natančnosti

Na prvi pogled se zdi, da je analiza razpoloženja precej enostavna - samo odločite se, ali je Tweet pozitiven, negativen ali nevtralen. Človeški jezik in čustva pa so zapleteni in odkrivanje čustev v Tweetu odraža to zapletenost.

Razmislite o teh tvitih. So pozitivni, negativni ali nevtralni?

https://twitter.com/alex/status/917406154321420289

Morda se počutite prepričani v svojih odgovorih, vendar obstaja velika verjetnost, da se vsi ne bi strinjali z vami. Raziskave so pokazale, da se ljudje strinjajo le s stališči tvitov 60-80% časa.

Morda ste dvomljivi. Tudi mi smo bili.

Da bi to preizkusili, sta dva člana ekipe za Data Science popolnoma enak nabor 1.000 tweetov označila za pozitiven, negativen ali nevtralen. Ugotovili smo, da 's Tweets delamo vsak dan; verjetno se bova med nama skoraj popolnoma dogovorila. '

kaj pomeni 511

Rezultate smo izračunali in nato dvakrat in trikrat preverili. Raziskava je bila neposredna - dogovorili smo se le za 73% tweetov.

Izzivi pri analizi sentimenta

Raziskave (skupaj z našim malim eksperimentom) kažejo, da analiza sentimenta ni enostavna. Zakaj je tako težavno? Sprehodimo se skozi nekaj največjih izzivov.

Kontekst

Tviti so majhen posnetek v času. Čeprav so nekateri samostojni, so tviti pogosto del tekočega pogovora ali referenčnih informacij, ki so smiselne le, če poznate avtorja. Brez teh namigov je težko razlagati avtorjeva čustva.

Sarkazem

Zaznavanje sarkazma je še en okus kontekstnega izziva. Brez dodatnih informacij sistemi za analizo sentimenta pogosto zamenjajo dobesedni pomen besed s tem, kako so namenjene. Sarkazem je aktivno področje akademskih raziskav, zato bomo v bližnji prihodnosti morda videli sisteme, ki razumejo snark.

Primerjave

Tudi sentiment postane zapleten, ko Tweets opravijo primerjave. Če izvajam tržne raziskave zelenjave in nekoga s tvitom, »korenje je boljše od buče«, je ta Tweet pozitiven ali negativen? Odvisno od vaše perspektive. Podobno lahko nekdo tvita: 'Podjetje A je boljše od podjetja B.' Če delam v podjetju A, je ta tvit pozitiven, če pa sem v podjetju B, pa negativen.

Emoji

Emojiji so povsem njihov jezik . Medtem ko emojiji izražajo precej očiten občutek, so drugi manj univerzalni. Med izdelavo našega sistema za analizo sentimenta smo natančno preučili, kako ljudje uporabljajo emojije, in ugotovili, da lahko celo običajni emojiji povzročijo zmedo. se skoraj enako uporablja v pomenu 'tako srečna, da jočem' ali 'tako žalostna, da jočem.' Če se ljudje ne morejo strinjati glede pomena čustvenega simbola, se ne more tudi sistem za analizo sentimenta.

Opredelitev nevtralnega

Tudi 'nevtralni' sentiment ni vedno enostaven. Razmislite o naslovu novice o tragičnem dogodku. Čeprav bi se vsi strinjali, da je dogodek grozen, je večina naslovov novic namenjena dejanskim, informativnim izjavam. Sistemi za analizo sentimenta so zasnovani tako, da prepoznajo čustva avtorja vsebine in ne bralčevega odziva. Čeprav se zdi nenavadno videti grozne novice z oznako »nevtralne«, pa odraža avtorjev namen sporočanja dejanskih informacij.

Sistemi za analizo sentimenta se razlikujejo tudi glede tega, kako nevtralno je opredeljeno. Nekateri menijo, da je nevtralna kategorija za vse, kjer se sistem ne more odločiti med pozitivnim ali negativnim. V teh sistemih je izraz 'nevtralno' sinonim za 'nisem prepričan.' V resnici pa je veliko tweetov, ki ne izražajo čustev, na primer spodnji primer.

Naš sistem nečustvene tvite izrecno razvršča kot nevtralne, namesto da nevtralen uporablja kot privzeto oznako za dvoumne tvite.

Vrednotenje analize sentimenta

Ob toliko izzivih pri analizi sentimenta se splača narediti domačo nalogo, preden naložite v novo orodje. Dobavitelji poskušajo pomagati pri reševanju zapletenosti, tako da se osredotočajo na statistične podatke o natančnosti svojih izdelkov. Vendar natančnost ni vedno primerjava med jabolki in jabolki. Če nameravate natančnost uporabljati kot merilno palico, vas je nekaj vprašati.

Ali je prijavljena natančnost večja od 80%?
Ker se ljudje med seboj strinjajo le 60-80% časa, nikakor ne moremo ustvariti testnega nabora podatkov, za katerega bi se vsi strinjali, da vsebuje 'pravilne' oznake razpoloženja. Ko gre za čustva, je 'pravilno' subjektivno. Z drugimi besedami, pri preizkušanju natančnosti ni zlatega standarda.

pomen 144

Zgornja meja natančnosti sistema za analizo sentimenta bo vedno na ravni človeka: približno 80%. Če prodajalec zahteva več kot 80-odstotno natančnost, je dobro biti dvomljiv. Trenutne raziskave kažejo, da je tudi 80-odstotna natančnost malo verjetna; vrhunski strokovnjaki s tega področja običajno dosežejo natančnost v sredini do zgornjih šestdesetih let.

Koliko kategorij razpoloženja se napoveduje?
Nekateri prodajalci ocenjujejo natančnost samo tvitov, ki so jih ocenjevalci človeka opredelili kot dokončno pozitivne ali negativne, razen vseh nevtralnih tvitov. Točnost sistema je veliko lažje videti zelo visoko pri delu z močno čustvenimi tweetovi in ​​le dvema možnima rezultatoma (pozitivnim ali negativnim).

V naravi pa je večina tvitov nevtralnih ali dvoumnih. Ko je sistem ovrednoten samo s pozitivnimi in negativnimi rezultati, je nemogoče vedeti, kako dobro se sistem spopada z nevtralnimi tweeti - večino tistega, kar boste dejansko videli.

Katere vrste tweetov so vključene v njihov testni niz?
Na Tweetih, ki so reprezentativni za dejanske razmere, je treba zgraditi in preizkusiti sistem za analizo sentimenta. Nekateri sistemi za analizo sentimenta so ustvarjeni z uporabo Tvitov za posamezno domeno, ki so bili filtrirani in očiščeni, da je sistem čim lažje razumljiv.

Na primer, prodajalec je morda našel že obstoječi nabor podatkov, ki vključuje le močno čustvene tvite o letalski industriji, pri čemer so izključeni vsi tweetovi, ki vsebujejo neželeno pošto ali vsebino. To bi povzročilo visoko natančnost, vendar le, če se uporablja na zelo podobnih tvitih. Če delate v drugi domeni ali prejemate kakršne koli tweetove, ki niso povezani s temo ali neželeno pošto, boste videli veliko nižjo natančnost.

Kako velik je bil testni nabor podatkov?
Sisteme za analizo sentimenta je treba oceniti na več tisočih Tweetih, da se izmeri uspešnost sistema v številnih različnih scenarijih. Prave mere natančnosti sistema ne boste dobili, če sistem preizkusite le na nekaj sto tvitih.

Tukaj pri Sprout smo svoj model zgradili na zbirki 50.000 tweetov, narisanih iz naključnega vzorca s Twitterja. Ker naši tviti niso specifični za posamezne domene, naš sistem za analizo sentimenta dobro deluje na številnih domenah.

Poleg tega ločeno napovedujemo pozitivne, negativne in nevtralne kategorije; nevtralno ne uporabljamo le, kadar druge napovedi ne uspejo. Naša natančnost je bila preizkušena na 10.000 tweetih, od katerih noben ni bil uporabljen za izdelavo sistema.

Oglejte si Sprout’s Sentiment Analysis v živo s poslušalci

Vse raziskave na svetu ne morejo nadomestiti ocene sistema iz prve roke. Preizkusite naš novi sistem za analizo sentimenta v najnovejšem naboru orodij za socialno poslušanje, Poslušalci in si oglejte, kako deluje za vas. Navsezadnje je najboljše orodje za socialno poslušanje tisto, ki ustreza vašim potrebam in vam pomaga, da izkoristite socialno korist. Dovolite nam, da začnete danes.

Delite S Prijatelji: