Πλοήγηση ανά Συγγραφέα "Koutsianos, Dimitrios"

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

Α Β Γ Δ Ε Ζ Η Θ Ι Κ Λ Μ Ν Ξ Ο Π Ρ Σ Τ Υ Φ Χ Ψ Ω

Τώρα δείχνει 1 - 1 από 1

Chain of thought prompting for intent classification using large language models
(2024-02-13) Κούτσιανος, Δημήτριος; Koutsianos, Dimitrios; Athens University of Economics and Business, Department of Informatics; Vassalos, Vasilios; Malakasiotis, Prodromos; Androutsopoulos, Ion
Μεγάλα γλωσσικά μοντέλα (LLM) όπως τα ChatGPT, GPT-4 και Llama έχουν δείξει τεράστια ικανότητα στην κατανόηση και παραγωγή κειμένου. Μεταξύ των πιο σημαντικών αναδυόμενων ικανοτήτων των LLMs είναι η λεγόμενη Chain of Thought (CoT) prompting. Η τελευταία αποτελείται από μια σειρά ενδιάμεσων βημάτων συλλογισμού που μπορούν να βελτιώσουν σημαντικά την ικανότητα των LLMs να εκτελούν σύνθετους συλλογισμούς. Επιπλέον, παρέχει ένα ερμηνεύσιμο παράθυρο στη συμπεριφορά του μοντέλου, υποδεικνύοντας τον τρόπο με τον οποίο μπορεί να έχει καταλήξει σε μια συγκεκριμένη απάντηση και παρέχοντας ευκαιρίες εντοπισμού των σημείων όπου η πορεία συλλογισμού πήγε στραβά. Οστόχος της προτεινόμενης εργασίας είναι να εξετάσει την εφαρμογή της μεθόδου CoT prompting στην ταξινόμηση προτάσεων, και πιο συγκεκριμένα στην ταξινόμηση προθέσεων (intents). Η εκτίμηση της πρόθεσης του χρήστη μιας υπηρεσίας είναι ένα από τα βασικά προβλήματα στα συστήματα διαλόγου προσανατολισμένα σε συγκεκριμένη εργασία. Παραδοσιακά, έχει προσεγγιστεί ως πρόβλημα ταξινόμησης που απαιτεί πολλά παραδείγματα εκπαίδευσης ανά πρόθεση και παλαιότερους ταξινομητές που εκπαιδεύονται σε ένα προκαθορισμένο σύνολο προθέσεων. Τέτοιες προσεγγίσεις δεν είναι γενικά κλιμακούμενες και δύσκολα συντηρούνται, καθώς απαιτούν ένα μοντέλο ανά πελάτη λόγω του ότι το σύνολο των προθέσεων εξαρτάται από τον πελάτη. Μια πρόσθετη αδυναμία αυτών των προσεγγίσεων είναι ότι δεν αποκαλύπτουν τον τρόπο με τον οποίο το μοντέλο ταξινομεί τις φράσεις σε κλάσεις προθέσεων. Μπορούν να εφαρμοστούν μέθοδοι επεξήγησης όπως η LIME ή η SHAP, ωστόσο δεν αποδίδουν πάντα διαισθητικές εξηγήσεις, καθώς απλώς εκτιμούν τη συμβολή κάθε λέξης της φράσης στην απόφαση του ταξινομητή, κάτι για το οποίο η μέθοδος Chain of Thought prompting μπορεί να δώσει λύση. Τα LLM έχουν επιδείξει ισχυρές επιδόσεις στην ταξινόμηση κειμένου, τόσο σε πλαίσιο 0- shot (δηλαδή χωρίς κανένα παράδειγμα εκπαίδευσης στο prompt) όσο και σε πλαίσιο fewshot (δηλαδή με ένα συγκεκριμένο αριθμό παραδειγμάτων εκπαίδευσης στο prompt), αλλά όχι στο ίδιο επίπεδο με παλαιότερα μοντέλα που έχουν σχεδιαστεί ειδικά για ταξινόμηση. Για να αντιμετωπιστεί αυτό το κενό στην επίδοση, προστίθεται στο prompt ένα σύνολο 5 υποψήφιων προθέσεων. Αυτές οι προθέσεις εξάγονται χρησιμοποιώντας έναν ταξινομητή με βάση το BERT. Για να μειωθεί περαιτέρω το χάσμα στην επίδοση, για κάθε μία από τις 5 υποψήφιες προθέσεις περιλαμβάνεται επίσης στο prompt μια περιγραφή για την πρόθεση αυτή, η οποία δημιουργήθηκε με τη βοήθεια του ChatGPT. ΄Οσον αφορά το μέρος της αλυσίδας σκέψης αυτής της διατριβής, δοκιμάστηκε αρχικά μία 0- shot μέθοδος αξιοποιώντας τρεις φράσεις που παράγουν Chain of Thought, «Let’s Think Step by Step», «Let’s Take a Deep Breath and work on this Step by Step» και μια νέα φράση, «Show your Thoughts». Θα δείξουμε ότι και στα δύο σύνολα δεδομένων που χρησιμοποιούνται, δηλαδή το CLINC-150 και το BANKING77, η μέθοδος που περιγράφηκε παρουσιάζει ελπιδοφόρα αποτελέσματα.