PYXIDA Institutional Repository
and Digital Library
 Home
Collections :

Title :Emotion-aware content representation and retrieval for movie dialogues
Creator :Samoili, Varvara
Contributor :Androutsopoulos, Ion (Επιβλέπων καθηγητής)
Giannakopoulos, Thanasis (Εξεταστής)
Athens University of Economics and Business, Department of Informatics (Degree granting institution)
Type :Text
Extent :v, 39 p.
Language :en
Identifier :http://www.pyxida.aueb.gr/index.php?op=view_object&object_id=6732
Abstract :The vast variety of information available on today’s web has created a need for state of-the-art Recommender Systems. Apart from collaborative methods, which are based on modeling the similarities between the preferences of different users, content-based retrieval applications for Recommender Systems and User Profiling, particularly in the area of movie recommendations, are also important. Their contribution become seven more valuable when, apart from static metadata, they also use underlying information related to the content consumed by the user. Furthermore, during the last two decades, Emotion Recognition has peaked the interest of researchers involved in Speech and Text Analytics. Meanwhile, emotion and the way it is conveyed is particularly important in films, as it undoubtedly plays a major role in the final aesthetic result. This leads us to believe that speech emotion in movie dialogues can act as an extra ‘dimension’ in content-based movie retrieval and recommendation, resulting in emotion-aware content-based movie retrieval.In this work, we show how specific high-level attributes, which derive from speech emotion estimates in movie dialogues, can constitute a discriminative factor when separating movie content. This is demonstrated through the use of an open and widely used dialogue benchmark, which first undergoes appropriate preprocessing. Experiments show that while, on one hand, emotion-based information alone is not a reliable enough factor for movie retrieval, there is, nonetheless, a statistically significant correlation between the ‘emotion-aware’ features and high-level movie attributes. Further research should be conducted in order to explore fusion methods of this emotion-based information along with metadata, as well as other types of content-based information(music, vision, etc.) towards the improvement of recommender systems.
Ο τεράστιος όγκος πληροφορίας που είναι διαθέσιμος στον παγκόσμιο ιστό στις μέρες μας, έχει δημιουργήσει την ανάγκη για τεχνολογικά εξελιγμένα Συστήματα Σύστασης (Recommender Systems). Εκτός από τις τεχνικές Συνεργατικού Φιλτραρίσματος (Collaborative Filtering), στο χώρο των Συστημάτων Σύστασης και ανάλυσης των προφίλ χρηστών, και ιδιαίτερα στον τομέα των κινηματογραφικών ταινιών, υπάρχει επιπλέον ανάγκη για εφαρμογές ανάκτησης οι οποίες βασίζονται στο περιεχόμενο. Η συμβολή τους είναι ιδιαίτερα χρήσιμη όταν, εκτός από στατική πληροφορία από μεταδεδομένα, χρησιμοποιούν και υποκείμενη πληροφορία που σχετίζεται με το περιεχόμενο που καταναλώνει ο χρήστης. Επιπλέον, κατά τη διάρκεια των δύο τελευταίων δεκαετιών, η Αναγνώριση Συναισθήματος έχει προσελκύσει το ενδιαφέρον των ερευνητών που ασχολούνται με ανάλυση φωνής και κειμένου. Σε αυτό το πλαίσιο, το συναίσθημα και ο τρόπος με τον οποίο αυτό εκφράζεται είναι ιδιαίτερης σημασίας στον τομέα των κινηματογραφικών ταινιών, αφού αναμφίβολα διαδραματίζουν πρωταρχικό ρόλο στο τελικό αισθητικό αποτέλεσμα. Αυτός είναι λόγος να πιστεύουμε ότι το συναίσθημα που προκύπτει από τη φωνή στους διαλόγους ταινιών μπορεί να χρησιμοποιηθεί ως μια επιπλέον ‘διάσταση’ στην ανάκτηση ταινιών βάσει περιεχομένου, έχοντας ως αποτέλεσμα την ‘ανάκτηση ταινιών βάσει συναισθηματικού περιεχομένου’.Στην παρούσα εργασία, δείχνουμε πώς γνωρίσματα υψηλού επιπέδου, που απορρέουν από εκτιμήσεις ανάλυσης συναισθήματος σε φωνή, μπορούν να αποτελέσουν διακριτικό παράγοντα στον διαχωρισμό περιεχομένου ταινιών. Αυτό επιδεικνύεται με τη χρήση ενός ανοιχτού και ευρέως χρησιμοποιούμενου συνόλου δεδομένων διαλόγου, αφού πρώτα έχει υποστεί κατάλληλη προεργασία. Τα πειράματα δείχνουν πως, παρόλο που η πληροφορία που βασίζεται στο συναίσθημα δεν είναι ικανή να χρησιμοποιηθεί ως μοναδικό κριτήριο στην ανάκτηση ταινιών, υπάρχει στατιστικά σημαντική συσχέτιση μεταξύ των συναισθηματικών χαρακτηριστικών και των υψηλού-επιπέδου χαρακτηριστικών της ταινίας. Θα ήταν χρήσιμο να διεξαχθεί μελλοντική διερεύνηση μεθόδων σύντηξης της συναισθηματικής πληροφορίας με μεταδεδομένα, καθώς και άλλα είδη πληροφορίας βασισμένης στο περιεχόμενο (μουσική, εικόνα, κ.λπ.) προς βελτίωση των Συστημάτων Σύστασης.
Subject :Emotion recognition
Information retrieval
Movies
Clustering
Recommender systems (Information filtering)
Αναγνώριση συναισθήματος
Ανάκτηση πληροφορίας
Ταινίες
Συστήματα σύστασης
Date Available :2019-01-20 12:15:23
Date Issued :12/21/2018
Date Submitted :2019-01-20 12:15:23
Access Rights :Free access
Licence :

File: samoili_2018.pdf

Type: application/pdf