AUEB Library - Digital Repository

PYXIDA Institutional Repository
and Digital Library

Username
Password

Collections :	Ιδρυματικό Αποθετήριο ΟΠΑ / AUEB Institutional Repository Σχολή Επιστημών και Τεχνολογίας της Πληροφορίας / School of Informatics Τμήμα Πληροφορικής / Department of Informatics Μεταπτυχιακές Εργασίες / Postgraduate dissertations

Title :	Greek text-to-speech

Alternative Title :	Ελληνικό κείμενο-σε-ομιλία

Creator :	Matrapazis, Anastasios Ματραπάζης, Αναστάσιος

Contributor :	Androutsopoulos, Ion (Επιβλέπων καθηγητής) Vassalos, Vasilios (Εξεταστής) Malakasiotis, Prodromos (Εξεταστής) Athens University of Economics and Business, Department of Informatics (Degree granting institution)

Type :	Text

Extent :	59p.

Language :	en

Identifier :	http://www.pyxida.aueb.gr/index.php?op=view_object&object_id=8988

Abstract :	Text-to-Speech (TTS) is a technology able to read aloud digital text. Nowadays, there has been significant progress in many applications, from virtual assistance and customer services to technologies that help people who struggle with reading. This study aims to train and evaluate a TTS deep learning model in the Greek language trying to copy the voice of a well-known Greek actress keeping the naturalness of the output speech. Our goal is to produce the actress's accent, making the output as identifiable as possible. Recent research has shown how TTS can be successfully addressed as a sequence-to-sequence (seq2seq) task followed by a vocoder. The seq2seq model predicts Mel-Spectrograms, a representation of the input in the frequency domain per time frame, given a text. Having a Mel-Spectrogram layout, the vocoder model synthesizes the time-domain waveform. This study is focused on training the auto-regressive Tacotron 2 implementation for the seq2seq task and the WaveGlow model for the vocoder. With the objective of simulating the actress’s voice, we collected our data samples from a podcast she hosted. Having the audio samples, we organized the dataset in the form of pairs. After the training process, our model achieved 3.48 MOS (Mean Opinion Score). Our Greek TTS model also accomplished 81% voice similarity with the original podcast hostess. Μία από τις τεχνολογίες που συμβάλλουν στην επικοινωνία του ανθρώπου με τη μηχανή είναι τα μοντέλα μετατροπής κειμένου για ομιλία (Text-to-Speech, TTS). Ενδεικτικά παραδείγματα εφαρμογών της τεχνολογίας αυτής είναι οι ψηφιακοί βοηθοί και τα εργαλεία ανάγνωσης κειμένου σε ανθρώπους με μαθησιακές δυσκολίες. Στην παρούσα εργασία, εκπαιδεύουμε ένα μοντέλο TTS για τα Ελληνικά, ώστε η παραγόμενη φωνή να μοιάζει με εκείνη της γνωστής Ελληνίδας ηθοποιού. Πρόσφατες έρευνες έχουν δείξει πώς συστήματα TTS μπορούν να αναπτυχθούν επιτυχώς συνδυάζοντας ένα μοντέλο βαθιάς μάθησης ακολουθία-σε-ακολουθία (sequence-to-sequence, seq2seq) και ένα μοντέλο vocoder. Το πρώτο μοντέλο παράγει παραστάσεις στο πεδίο της συχνότητας (Mel-Spectrograms) για κάθε χρονικό παράθυρο (time frame), δεδομένης μιας ακολουθίας λέξεων. Στη συνέχεια, το δεύτερο μοντέλο (vocoder) αναλαμβάνει τη σύνθεση των κυματομορφών του ήχου. Στην υλοποίησή μας, χρησιμοποιούμε τη μεθοδολογία του Tacotron 2 για την παραγωγή των Mel-Spectrograms και την υλοποίηση του WaveGlow ως vocoder για την τελική εξαγωγή της κυματομορφής.

Abstract :

Text-to-Speech (TTS) is a technology able to read aloud digital text. Nowadays, there has been significant progress in many applications, from virtual assistance and customer services to technologies that help people who struggle with reading. This study aims to train and evaluate a TTS deep learning model in the Greek language trying to copy the voice of a well-known Greek actress keeping the naturalness of the output speech. Our goal is to produce the actress's accent, making the output as identifiable as possible. Recent research has shown how TTS can be successfully addressed as a sequence-to-sequence (seq2seq) task followed by a vocoder. The seq2seq model predicts Mel-Spectrograms, a representation of the input in the frequency domain per time frame, given a text. Having a Mel-Spectrogram layout, the vocoder model synthesizes the time-domain waveform. This study is focused on training the auto-regressive Tacotron 2 implementation for the seq2seq task and the WaveGlow model for the vocoder. With the objective of simulating the actress’s voice, we collected our data samples from a podcast she hosted. Having the audio samples, we organized the dataset in the form of pairs. After the training process, our model achieved 3.48 MOS (Mean Opinion Score). Our Greek TTS model also accomplished 81% voice similarity with the original podcast hostess.
Μία από τις τεχνολογίες που συμβάλλουν στην επικοινωνία του ανθρώπου με τη μηχανή είναι τα μοντέλα μετατροπής κειμένου για ομιλία (Text-to-Speech, TTS). Ενδεικτικά παραδείγματα εφαρμογών της τεχνολογίας αυτής είναι οι ψηφιακοί βοηθοί και τα εργαλεία ανάγνωσης κειμένου σε ανθρώπους με μαθησιακές δυσκολίες. Στην παρούσα εργασία, εκπαιδεύουμε ένα μοντέλο TTS για τα Ελληνικά, ώστε η παραγόμενη φωνή να μοιάζει με εκείνη της γνωστής Ελληνίδας ηθοποιού. Πρόσφατες έρευνες έχουν δείξει πώς συστήματα TTS μπορούν να αναπτυχθούν επιτυχώς συνδυάζοντας ένα μοντέλο βαθιάς μάθησης ακολουθία-σε-ακολουθία (sequence-to-sequence, seq2seq) και ένα μοντέλο vocoder. Το πρώτο μοντέλο παράγει παραστάσεις στο πεδίο της συχνότητας (Mel-Spectrograms) για κάθε χρονικό παράθυρο (time frame), δεδομένης μιας ακολουθίας λέξεων. Στη συνέχεια, το δεύτερο μοντέλο (vocoder) αναλαμβάνει τη σύνθεση των κυματομορφών του ήχου. Στην υλοποίησή μας, χρησιμοποιούμε τη μεθοδολογία του Tacotron 2 για την παραγωγή των Mel-Spectrograms και την υλοποίηση του WaveGlow ως vocoder για την τελική εξαγωγή της κυματομορφής.

Subject :	Text To Speech (TTS) Tacotron Tacotron 2 Greek Text To Speech Ελληνικό κείμενο σε ομιλία Κείμενο σε ομιλία

Date Available :	2021-12-24 17:34:41

Date Issued :	12/04/2021

Date Submitted :	2021-12-24 17:34:41

Access Rights :	Free access

Licence :

File: Matrapazis_2021.pdf

Type: application/pdf

Login