Λογότυπο αποθετηρίου

Πλοήγηση ανά Συγγραφέα "Sfakianakis, Panteleimon"

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
Α Β Γ Δ Ε Ζ Η Θ Ι Κ Λ Μ Ν Ξ Ο Π Ρ Σ Τ Υ Φ Χ Ψ Ω
Φιλτράρετε τα αποτελέσματα πληκτρολογώντας τα πρώτα γράμματα
Τώρα δείχνει 1 - 1 από 1
  • Μικρογραφία εικόνας
    Τεκμήριο
    Neural architectures for question answering in dialogs
    (2022-12-14) Σφακιανάκης, Παντελεήμων; Sfakianakis, Panteleimon; Athens University of Economics and Business, Department of Informatics; Androutsopoulos, Ion; Papastamoulis, Panagiotis; Vassalos, Vasilios
    Τα τελευταία χρόνια, το Conversational Question Answering (CQA) αποτελεί ενα πεδίο το οποίο έχει αποκτήσει δημοτικότητα στον τομέα της Επεξεργασίας Φυσικής Γλώσσας. Κυρίαρχο ρόλο σε αυτό διαδραμάτισε η δημιουργία μεγάλης κλίμακας συνόλων δεδομένων με συζητήσεις ερωτοαπαντήσεων οπως το QuaC και το CoQΑ. To CQA καλεί το μηχάνημα να “καταλάβει" ένα δοσμένο κείμενο και να συμμετάσχει σε ένα διάλογο. Αυτό αποτελεί μια προέκταση του κλασικού συστήματος ερωτοαπαντήσεων το οποίο απευθύνεται σε μια ερώτηση κάθε φορά, με τη διαφορά ότι στην περίπτωση του CQA πρέπει να μοντελοποιηθεί και η ιστορία της συζήτησης. Σε αυτή τη διπλωματική, θα συζητηθεί ένα μοντέλο ολικής μοντελοποίησης της ιστορίας (GHR model). Τα μοντέλα που χρησιμοποιήθηκαν στα πειράματα μας είναι πολύ μεγάλα προεκπαιδευμένα μοντέλα όπως το BERTLarge και το RoBERTALarge. Προκειμένου να κάνουμε τη διαδικασία της εκπαίδευσης των παραμέτρων πιο αποδοτική, χρησιμοποιήθηκαν οι bottleneck adapters. Οι bottleneck adapters είναι στρώματα (layers) τα οποία εισάγονται μέσα στα block των transformer μοντέλων. Κατά τη διάρκεια της εκπαίδευσης, όλοι οι παράμετροι από το transformer μοντέλο παραμένουν παγωμένοι χωρίς να μεταβάλλονται και ανανεώνονται μόνο τα στρώματα των bottleneck adapters. Η εκπαίδευση του GHR μοντέλου με BERTLarge και RoBERTaLarge επιτυγχάνει 68.5 και 72.9 F1 αντίστοιχα. Με τη χρήση των adapters το F1 γίνεται 67.6 για το BERTLarge και 73.6 για το RoBERTaLarge. Επομένως, με τη χρήση των adapters καταφέραμε να έχουμε μια παρόμοια επίδοση για το BERT μοντέλο και βελτιωμένα αποτελέσματα για το RoBERTa μοντέλο χρησιμοποιώντας σημαντικά λιγότερες παραμέτρους. Πρέπει να σημειωθεί ότι τα παραπάνω αποτελέσματα αναφέρονται στο development set του QuAC, το οποίο αποτελεί το σύνολο δεδομένων που χρησιμοποιήσαμε για τα πειράματα μας. Το καλύτερο μας μοντέλο με ενσωματωμένους τους adapters έχει υποβληθεί για επίσημη αξιολόγηση στο hidden test set του QuAC.