Sentiment analysis using statistical methods

Abstract

Sentiment analysis is the task of identifying automatically the polarity, the subjectivity and the emotional states of particular document or sentence. Sentiment analysis became increasingly important after the rise of social media networks and it has applications in various fields including marketing, crisis management, search engines and semantic web. In this thesis, we will use various text classification techniques to detect the language of a given document and to evaluate its polarity. We will examine in detail several algorithms such as Naïve Bayes, Max Entropy and Multinomial Logistic Regression. We will argue regarding the importance of the introduction of the neutral class and we will evaluate their performance on commonly used datasets.

Sentiment Analysis είναι η διαδικασία αυτόματης ανίχνευσης της πολικότητας, της υποκειμενικότητας και των συναισθηματικών καταστάσεων ενός συγκεκριμένου εγγράφου ή πρότασης χρησιμοποιώντας στατιστικές και μεθόδους μηχανικής μάθησης (machine learning). Το sentiment analysis έγινε ολοένα και πιο σημαντικό μετά την άνοδο των κοινωνικών δικτύων (social media) και έχει εφαρμογές σε διάφορους τομείς, συμπεριλαμβανομένων του μάρκετινγκ, της διαχείρισης κρίσεων, των μηχανών αναζήτησης και semantic web. Σε αυτή την διπλωματική εργασία, θα χρησιμοποιήσουμε διάφορες τεχνικές ταξινόμησης κειμένου προκειμένου να ανιχνεύσουμε αυτόματα τη γλώσσα ενός εγγράφου και να αξιολογήσουμε την πολικότητά του (θετικό ή αρνητικό). Θα εξετάσουμε λεπτομερώς αρκετούς αλγόριθμους όπως ο Naïve Bayes, ο Max Entropy και η Multinomial Logistic Regression. Στη συνέχεια θα συγκρίνουμε τα αποτελέσματα τους και θα εστιάσουμε στην επίδραση εισαγωγής ουδέτερων παραδειγμάτων.