Δοκιμές αξιολόγησης συστημάτων ML: Διαδικασίες, Μέθοδοι & Μετρικές

Σουρλάς, Βασίλειος

Δοκιμές αξιολόγησης συστημάτων ML: Διαδικασίες, Μέθοδοι & Μετρικές

dc.contributor.advisor	Βασιλάκης, Κώστας
dc.contributor.author	Σουρλάς, Βασίλειος
dc.contributor.committee	Platis, Nikos
dc.contributor.committee	Tselikas, Nikolaos
dc.contributor.department	Τμήμα Πληροφορικής και Τηλεπικοινωνιών	el
dc.contributor.faculty	Σχολή Οικονομίας και Τεχνολογίας	el
dc.contributor.master	Επιστήμη Υπολογιστών	el
dc.date.accessioned	2024-09-12T08:26:35Z
dc.date.available	2024-09-12T08:26:35Z
dc.date.issued	2024-05
dc.description	Μ.Δ.Ε. 64	el
dc.description.abstract	Η δοκιμή αξιολόγησης των συστημάτων ML είναι μια απαιτητική και δαπανηρή διαδικασία καθώς τα συστήματα αυτά παρουσιάζουν υψηλή πολυπλοκότητα, χρειάζονται μεγάλο όγκο δεδομένων για να πραγματοποιήσουν καλές προβλέψεις, και χρησιμοποιούν πολύπλοκους, πιθανολογικούς μη ντετερμινιστικούς αλγόριθμους. Η παρούσα διπλωματική εργασία επιδιώκει να δώσει μια ολοκληρωμένη εικόνα των σύγχρονων μεθοδολογιών που χρησιμοποιούνται για τις δοκιμές αξιολόγησης των συστημάτων ML, συμβάλλοντας στη βελτίωση της αξιοπιστίας και της απόδοσης τους. Αρχικά, αναλύεται η διαδικασία ανάπτυξης ενός συστήματος ML, από τη συλλογή και την προεπεξεργασία των δεδομένων, έως και την παρακολούθηση της συμπεριφοράς και τρόπου λειτουργίας του συστήματος σε παραγωγικό περιβάλλον. Στη συνέχεια, αναλύεται η διαδικασία αξιολόγησης των συστημάτων AI, ενώ επίσης επισημαίνονται οι βασικές διαφορές των δοκιμών αξιολόγησης τους σε σύγκριση με τα συμβατικά συστήματα. Ιδιαίτερη έμφαση δίνεται στις μετρικές αξιολόγησης που χρησιμοποιούνται για την μέτρηση της απόδοσης των μοντέλων ML και περιγράφονται τα μειονεκτήματα και τα πλεονεκτήματα τους. Ακόμα, παρουσιάζονται οι μεθοδολογίες δοκιμών, όπως οι Differential, Metamorphic, Mutation και Combinatorial, οι οποίες βοηθούν τόσο στη δημιουργία δοκιμαστικών περιπτώσεων όσο και στην αντιμετώπιση του προβλήματος του test oracle. Τέλος, συζητούνται η επάρκεια των δοκιμών και οι τεχνικές ιεράρχησης και μείωσης των δοκιμαστικών περιπτώσεων για την αποδοτικότερη και αποτελεσματικότερη αξιολόγηση των ML συστημάτων	el
dc.description.abstracttranslated	Τesting of ML systems is a demanding and expensive process, given that these systems exhibit high complexity, need a large amount of data to make good predictions, and use complex, probabilistic non-deterministic algorithms. This thesis seeks to present a comprehensive picture of the state-of-the-art methodologies used for the evaluation tests of ML systems, striving to improve their reliability and performance. Initially, the development process of an ML system is analyzed, from the stages of collection and pre-processing of the data, to the phase of monitoring of the system's behavior and operation in a production environment. Then, the testing process of AI systems is analyzed, and the key differences between testing of AI systems conventional systems are highlighted. Special emphasis is given on the evaluation metrics used to measure the performance of ML models and their disadvantages and advantages are described. Furthermore, testing methodologies, such as Differential, Metamorphic, Mutation and Combinatorial, are presented, which help both in creating test cases and in dealing with the test oracle problem. Finally, test adequacy and test case prioritization and reduction techniques are discussed for more efficient and effective evaluation of ML systems.	el
dc.format.extent	σελ. 90	el
dc.identifier.uri	https://amitos.library.uop.gr/xmlui/handle/123456789/8254
dc.identifier.uri	http://dx.doi.org/10.26263/amitos-1756
dc.language.iso	el	el
dc.publisher	Πανεπιστήμιο Πελοποννήσου	el
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject.keyword	δοκιμές αξιολόγησης	el
dc.subject.keyword	μηχανική μάθηση	el
dc.subject.keyword	τεχνητή νοημοσύνη	el
dc.subject.keyword	βαθεία μάθηση	el
dc.subject.keyword	μοντέλα	el
dc.subject.keyword	νευρωνικά δίκτυα	el
dc.subject.keyword	ακρίβεια	el
dc.subject.keyword	πληρότητα	el
dc.subject.keyword	κάλυψη	el
dc.title	Δοκιμές αξιολόγησης συστημάτων ML: Διαδικασίες, Μέθοδοι & Μετρικές	el
dc.type	Μεταπτυχιακή διπλωματική εργασία	el

Files

Original bundle

Now showing 1 - 1 of 1

Name:: Sourlas_2022202002023.pdf
Size:: 1.46 MB
Format:: Adobe Portable Document Format
Description:: Μεταπτυχιακή διπλωματική εργασία

Download

License bundle

Now showing 1 - 1 of 1

Name:: license.txt
Size:: 933 B
Format:: Item-specific license agreed upon to submission
Description:

Download

Collections

Τμήμα Πληροφορικής και Τηλεπικοινωνιών (Μ. Δ. Ε.)