Improvements to the Online Cost-aware Teacher-Student (OCaTS) framework

Abstract

Οι ραγδαίες εξελίξεις στην Επεξεργασία Φυσικής Γλώσσας (Natural Language Processing - NLP) έχουν οδηγήσει στη δημιουργία ισχυρών Μεγάλων Γλωσσικών Μοντέλων (Large Language Models - LLMs). Ωστόσο, η χρήση τους από μικρές και μεσαίες επιχειρήσεις παραμένει περιορισμένη λόγω του υψηλού λειτουργικού κόστους που σχετίζεται με τις συχνές κλήσεις. Για την αντιμετώπιση του προβλήματος, αναπτύχθηκε το εργαλείο OCaTS (Cost-Aware Teacher-Student), το οποίο αξιοποιεί ένα μοντέλο-μαθητή ώστε να μειώσει την εξάρτηση από δαπανηρές ερωτήσεις προς τα LLMs. Το αρχικό μοντέλο όμως είχε περιορισμούς: βασιζόταν σε έναν μόνο δάσκαλο και απαιτούσε προκαθορισμένες τιμές κόστους. Η βελτιωμένη εκδοχή του OCaTS εισάγει μια ιεραρχική αρχιτεκτονική με πολλαπλούς δασκάλους. Τα ερωτήματα προωθούνται, ανάλογα με την πολυπλοκότητά τους, σε διαφορετικά μοντέλα-δασκάλους, επιτυγχάνοντας καλύτερη ισορροπία μεταξύ κόστους και απόδοσης. Το σύστημα επεκτείνει τη μετρική της μειωμένης ακρίβειας (discounted accuracy) ώστε να υποστηρίζει πολλαπλούς δασκάλους και εισάγει δύο νέες μετρικές: Mass και Area, οι οποίες λειτουργούν χωρίς προκαθορισμένες τιμές κόστους. Η νέα προσέγγιση μειώνει αισθητά τα λειτουργικά έξοδα, διατηρώντας υψηλή απόδοση στα καθήκοντα. Καθιστά έτσι τις λύσεις που βασίζονται σε LLMs πιο προσιτές και βιώσιμες για τις μικρές και μεσαίες επιχειρήσεις, διευκολύνοντας την υιοθέτηση προηγμένων τεχνολογιών γλώσσας σε πρακτικά περιβάλλοντα.Rapid advancements in Natural Language Processing (NLP) have enabled the creation of powerful Large Language Models (LLMs), but their adoption by small and medium-sized enterprises (SMEs) remains limited due to the high operational costs associated with frequent inference calls. To mitigate this, the Cost-Aware Teacher-Student (OCaTS) framework was introduced, using a student model to reduce reliance on expensive LLM queries. However, it was constrained by a single-teacher setup and required prior knowledge of cost parameters. An improved version of OCaTS introduces a multi-teacher hierarchical architecture, where queries are escalated based on complexity to different teacher models, optimizing the trade-off between cost and performance. The framework extends the discounted accuracy metric to support multiple teachers and proposes two new evaluation metrics, Mass and Area, that work without needing predefined cost values. Validated through extensive testing with both known and unknown cost settings, the enhanced framework significantly reduces operational costs while maintaining strong task performance, making LLM-based solutions more practical for SMEs.