Λογότυπο αποθετηρίου

Διδακτορικές διατριβές

Μόνιμο URI για αυτήν τη συλλογήhttps://pyxida.aueb.gr/handle/123456789/5

Περιήγηση

Πλοήγηση Διδακτορικές διατριβές ανά Συγγραφέα "Nikoloutsopoulos, Sotirios"

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
Α Β Γ Δ Ε Ζ Η Θ Ι Κ Λ Μ Ν Ξ Ο Π Ρ Σ Τ Υ Φ Χ Ψ Ω
Φιλτράρετε τα αποτελέσματα πληκτρολογώντας τα πρώτα γράμματα
Τώρα δείχνει 1 - 1 από 1
  • Μικρογραφία εικόνας
    Τεκμήριο
    Federated, continual and meta-learning algorithms for multi-task settings
    (13-12-2024) Νικολουτσόπουλος, Σωτήριος; Nikoloutsopoulos, Sotirios; Athens University of Economics and Business, Department of Informatics; Androutsopoulos, Ion; Koutsopoulos, Iordanis; Markakis, Evangelos; Blekas, Konstantinos; Stafylakis, Themos; Pavlopoulos, Ioannis; Toumpis, Stavros
    Η ερευνητική εργασία η οποία περιλαμβάνεται στη διατριβή αυτή αφορά τρεις νέους αλγορίθμους Μηχανικής Μάθησης, ο καθένας εκ των οποίων αντιμετωπίζει προβλήματα πολλαπλών εργασιών (multiple tasks) σε ένα συγκεκριμένο πλαίσιο. Αυτού του είδους η Μάθηση πολλαπλών εργασιών (Multi-Task Learning) αφορά των χειρισμό πολλαπλών εργασιών είναι ταυτόχρονα είτε σειριακά, με κάθε εργασία να ορίζεται βάσει μιας συνάρτησης στόχου (objective function). Το πλήθος των εργασιών μπορεί να είναι πεπερασμένο ή άπειρο, και οι εργασίες μπορεί να είναι κατανεμημένες σε πολλούς πελάτες ή να βρίσκονται συγκεντρωμένες σε έναν. Οι αλγόριθμοι που προτείνει η ερευνητική εργασία αντιμετωπίσουν την μάθηση πολλαπλών εργασιών στα πλαίσια της προσωποποιημένης ομόσπονδης μάθησης, (Personalized Federated Learning), της Συνεχούς Μάθησης (Continual Learning) και της Μέτα-Μάθησης (Meta-Learning). Ο καθένας εξ αυτών είναι βελτιστοποιημένος για το συγκεκριμένο περιβάλλον στο οποίο λειτουργεί.Στο Κεφάλαιο 2 η διατριβή εξετάζει την Μάθηση Πολλαπλών Εργασιών στο πλαίσιο της προσωποποιημένης Ομόσπονδης Μάθησης και, συγκεκριμένα, εφαρμόζεται προκειμένου να κατασκευαστεί μια από κοινού αναπαράσταση (representation) στο εύρος ενός πεπερασμένου συνόλου εργασιών κατανεμημένων σε πολλαπλούς πελάτες. Αυτή η από κοινού αναπαράσταση για όλους τους πελάτες επιτρέπει καλύτερη γενίκευση και επιτρέπει σε κάθε ένα από τα μοντέλα να εκπαιδευτούν στην εργασία τους πιο γρήγορα, ιδιαιτέρως όταν το μέγεθος του συνόλου δεδομένων (dataset) του κάθε πελάτη είναι πεπερασμένο. Η διατριβή προτείνει έναν αλγόριθμο που βασίζεται σε μια ακριβή, κατανεμημένη, τεχνική στοχαστικής κατάβασης κλίσης (exact, distributed, Stochastic Gradient Descent) η οποία διαθέτει θεωρητικές εγγυήσεις σύγκλισης. Ο αλγόριθμος μπορεί να χειριστεί ένα πεπερασμένο πλήθος εργασιών κατανεμημένων σε πολλαπλούς πελάτες, μέσω της από κοινού βελτιστοποίησης δύο συνόλων βαρών, εκ των οποίων το ένα σύνολο περιλαμβάνει κοινά βάρη και το άλλο προσωποποιημένα βάρη. Η μέθοδος παρουσιάζει υψηλή επίδοση σε προβλήματα κατηγοριοποίησης σε σύνολα δεδομένων πολλαπλών κλάσεων (multi-class classification data sets)Στο Κεφάλαιο 3 η διατριβή εξετάζει την Μάθηση Πολλαπλών Εργασιών στο πλαίσιο της Συνεχούς Μάθησης (Continual Learning). Επομένως, σε αντίθεση με την συνήθη προσέγγιση κατά την οποία η μάθηση επιτελείται με πρόσβαση σε όλα τα δεδομένων εργασιών, ο πράκτορας πρέπει να προσαρμόζεται στις εργασίες ακολουθιακά, καθώς αυτές καταφθάνουν από μια ροή, ενώ ταυτόχρονα διατηρεί διαρκώς καλή επίδοση σε όλες τις εργασίες. Η διατριβή εστιάζει σε προβλήματα κατηγοριοποίησης και Συνεχή Μάθηση σταδιακά προστιθέμενων εργασιών (task-incremental), όπου νέες κλάσεις εισάγονται διαδοχικά, απαιτώντας από τον πράκτορα να προσαρμόζεται σε νέες κλάσεις καθώς περνά ο χρόνος. Σε αντίθεση με την απλή Μάθηση Πολλαπλών Εργασιών, στο πλαίσιο της Συνεχούς Μάθησης ο πράκτορας δεν έχει ταυτόχρονη πρόσβαση σε όλα τα δεδομένα και δεν μπορεί να επεξεργαστεί εκ νέου παλιά δεδομένα εκτός αν αυτά έχουν επί τούτου αποθηκευτεί στη μνήμη του. Αυτός ο περιορισμός, σε συνδυασμό με τις ανισορροπίες στην εμφάνιση των κλάσεων που είναι εγγενείς στη ροή των εισερχομένων δεδομένων, δημιουργεί δυσκολίες στο να επιτευχθεί δικαιοσύνη μεταξύ κλάσεων σε ό,τι αφορά την ακρίβεια (accuracy) καθώς ο πράκτορας πρέπει να μάθει να αντιμετωπίζει τις διαφορετικές κλάσεις δίκαια. Προκειμένου να αντιμετωπισθεί αυτή τη δυσκολία, η διατριβή εισάγει μια μέθοδο σύγχρονης (online) Συνεχούς Μάθησης που βασίζεται σε επαναληπτική μάθηση (online replay-based Continual Learning) που ελαχιστοποιεί την απώλεια Kullback-Leibler (KL) προκειμένου να επιτύχει δικαιοσύνη σε προβλήματα με μεγάλη ανισορροπία στα σχετικά πλήθη των παραδειγμάτων σε κάθε κλάση. Η μέθοδος επιτυγχάνει βελτιωμένη δικαιοσύνη και ακρίβεια κατά μήκος συνόλων δεδομένων (data sets) όπως τα MNIST, CIFAR-10, και CIFAR-100 σε σχέση με σύγχρονους (state-of-the-art) τεχνικές Δειγματοληψίας Ταμιευτήρα (Reservoir Sampling).Στο Κεφάλαιο 4 η διατριβή εξετάζει την Μάθηση Πολλαπλών Εργασιών στο πλαίσιο της Μέτα-Μάθησης (Meta-Learning). Η Μάθηση Πολλαπλών Εργασιών επιτρέπει τον ταυτόχρονο χειρισμό πολλαπλών εργασιών και προωθεί τον διαμοιρασμό πληροφορίας μεταξύ των εργασιών προκειμένου να ενισχυθεί η γενίκευση και η επίδοση, αλλά η Μέτα-Μάθηση ενισχύει περαιτέρω αυτές τις δυνατότητες εστιάζοντας στην προσαρμογή σε άπειρο πλήθος εργασιών, οι οποίες αντλώνται από κάποια κατανομή. Σε αυτό το πλαίσιο, η κωδικοποίηση εργασιών (task encoding) έχει ένα κεντρικό ρόλο: αναγνωρίζοντας την κωδικοποίηση της εργασίας, το μοντέλο αντιλαμβάνεται την εργασία που καλείται να αντιμετωπίζει και προσαρμόζεται ανάλογα. Μια κρίσιμη ιδέα σε αυτό το πλαίσιο είναι η μοντελοποίηση και η μάθηση μιας στοχαστικής απεικόνισης ή κωδικοποίησης και της κατανομής της έτσι ώστε να εμπεριέχει όσο περισσότερη πληροφορία γίνεται για κάθε εργασία και να οδηγεί σε ακριβής προβλέψεις. Αυτό είναι ιδιαίτερα σημαντικό σε περιβάλλοντα με μετακίνηση κατανομής (distribution drift), όπως αυτά της Συνεχούς Μάθησης, όπου οι εργασίες αλλάζουν με το χρόνο. Η διατριβή παρουσιάζει ένα πλαίσιο Μέτα-Μάθησης χρησιμοποιώντας τις έννοιες της Αμοιβαίας Πληροφορίας (Mutual Information) και της Αρχής Στενωπού της Πληροφορίας (Information Bottleneck Principle). Το πλαίσιο επιτρέπει στοχαστικές γενικεύσεις του γνωστού Αλγορίθμου Model-Agnostic Meta Learning (MAML) καθώς και νέους αλγορίθμους που βασίζονται στη μνήμη (Memory-based) οι οποίες εφαρμόζουν τεχνικές πυρήνων γκαουσιανών διαδικασιών, που επιτυγχάνουν ανταγωνιστική επίδοση σε σχέση με το state-of-the-art σε προβλήματα παρεμβολής και κατηγοριοποίησης σύντομης εκπαίδευσης (few-shot).