Retrieval augmented generation on regulatory documents

Abstract

This thesis investigates the application of Retrieval Augmented Generation (RAG) in regulatory procedures through the emerging field of Regulatory NLP. Based on real-world regulatory documents, the study evaluates the performance of commercial retrieval models and introduces advanced, hybrid retrieval techniques tailored for legal compliance tasks. Given the critical need for precision and completeness in the legal domain, new algorithms that utilize Large Language Models (LLMs) are developed to enhance regulatory question-answering. The work also includes an adversarial evaluation of RePASs, a metric focused on legal obligations. Through participation in the RIRAG-2025 shared task, the thesis demonstrates both the promise and current limitations of AI systems in regulatory settings, emphasizing the need for further exploration in this field.

Η παρούσα πτυχιαϰή εργασία εξερευνά την εφαρμογή της τεχνολογίας Retrieval Augmented Generation (RAG) σε διαδιϰασίες που αφορούν ϰανονισμούς στο ανερχόμενο πεδίο της Επεξεργασίας Φυσιϰής Γλώσσας για Ρυϑμιστιϰά ϰείμενα (Regulatory NLP). Βασιζόμενη σε πραγματιϰά έγγραφα ϰανονισμών, η μελέτη αυτή αξιολογεί την επίδοση εμποριϰών μοντέλων ανάϰτησης πληροφοριών ϰαι εισάγει προηγμένες, υβριδιϰές τεχνιϰές ανάϰτησης πληροφοριών ειδιϰά προσαρμοσμένες για εργασίες νομιϰής συμμόρφωσης. ∆εδομένης της ϰρίσιμης ανάγϰης για αϰρίβεια ϰαι πληρότητα στο νομιϰό πεδίο, νέοι αλγόριϑμοι αναπτύχϑηϰαν οι οποίοι αξιοποιούν μεγάλα γλωσσιϰά μοντέλα (LLMs) για την ενίσχυση των απαντήσεων σε ρυϑμιστιϰές ερωτήσεις. Η εργασία περιλαμβάνει την αξιολόγηση του RePASs, μίας μετριϰής που επιϰεντρώνεται σε νομιϰές υποχρεώσεις. Μέσω της συμμετοχής στον σχετιϰό διεϑνή διαγωνισμό RIRAG 2025, η συγϰεϰριμένη πτυχιαϰή εργασία αναδειϰνύει τόσο τις υποσχέσεις όσο ϰαι τους περιορισμούς των συστημάτων Τεχνητής Νοημοσύνης σε ρυϑμιστιϰά περιβάλλοντα, τονίζοντας την ανάγϰη για περαιτέρω έρευνα στο εν λόγω πεδίο.