Maximum likelihood estimation for overdispersed binomial and multinomial data through an EM algorithm

Abstract

The phenomenon of overdispersion is encountered very often when analyzing binomial/ multinomial data. Failure to take account of it may lead to inaccurate standard errors and misleading inference for the parameters of interest. A variety of models has been proposed to provide a solution to this problem,amongst of which are mixture models. The application of the latter, though,has been limited to a large extent by the complexity of the computations involved in fitting them. Hence, in the present thesis, logistic regression models based on beta-binomial and Dirichlet-multinomial distributions are presented, in order to fit overdispersed binomial and multinomial data,respectively. Interest is raised on the application of an Expectation-Maximization algorithm for finding maximum likelihood estimates, which proves to be a quite useful tool when trying to avoid computational difficulties that arise from applying these mixture models.

Το φαινόμενο της «υπερμεταβλητότας» (overdispersion) συναντάται πολύ συχνά στην ανάλυση διωνυμικών/πολυωνυμικών δεδομένων. Η παράλειψη ενσωμάτωσής της στον σχεδιασμό της ανάλυσης μπορεί να οδηγήσει σε μη ακριβείς τυπικές αποκλίσεις και εσφαλμένη συμπερασματολογία, όσον αφορά τις υπό εκτίμηση παραμέτρους. Πλήθος μοντέλων έχουν προταθεί για την αντιμετώπιση του προβλήματος, μεταξύ των οποίων και μοντέλα που βασίζονται σε μείξεις κατανομών. Η εφαμογή των τελευταίων, όμως, έχει περιοριστεί σε μεγάλο βαθμό λόγω των πολύπλοκων υπολογισμών που συνεπάγεται η χρησιμοποίησή τους. Η παρούσα διπλωματική εργασία παρουσιάζει μοντέλα λογιστικής παλινδρόμησης που στηρίζονται στη βήτα-διωνυμική και Dirichlet-πολυωνυμική κατανομή για την ανάλυση διωνυμικών και πολυωνυμικών δεδομένων που παρουσιάζουν το φαινόμενο της«υπερμεταβλητότητας». Το ενδιαφέρον επικεντρώνεται στην εφαρμογή του Expectation-Maximization αλγόριθμου για την εύρεση εκτιμήσεων μέγιστης πιθανοφάνειας, ο οποίος αποδεικνύεται ένα ιδιαίτερα χρήσιμο εργαλείο στην προσπάθεια αποφυγής των υπολογιστικών δυσκολιών που προκύπτουν από την προσαρμογή των προαναφερθέντων μοντέλων.