Αξιολόγηση μεθόδων επεξεργασίας φυσικής γλώσσας για την αυτόματη κατανόηση κειμένου

Abstract

Στόχος αυτής της διπλωματικής είναι η χρήση αλγορίθμων αναγνώρισης οντοτήτων για την αναγνώριση δεξιοτήτων σε βιογραφικά. Έχουμε ένα σύνολο βιογραφικών σε ελεύθερο κείμενο στην Αγγλική γλώσσα, με το σώμα κειμένων να αποτελείται από 1530 έγγραφα. Ο σκοπός είναι να ανιχνεύσουμε δεξιότητες (skills) του υποψηφίου. Αυτή η διπλωματική εργασία έχει μεγάλη χρησιμότητα σε εταιρίες ώστε να διευκολύνουν τη διαδικασία της εύρεσης ενός κατάλληλου υποψηφίου για πρόσληψη σε μια θέση. Επεξηγηματικά, η Αξιολόγηση μεθόδων Φυσικής Γλώσσας (NLP), η χρησιμότητα της NLP στην αγορά εργασίας, η αναγνώριση ονομαστικών οντοτήτων (NER) και τα οφέλη τους στην αγορά εργασίας. Τα Μεγάλα γλωσσικά Μοντέλα (LLM), η εφαρμογή τους σε εργασίες NLP, και τα πλεονεκτήματα της χρήσης των LLM για NER. Το πρώτο σκέλος της διπλωματικής εισαγάγει σε θεωρητικό πλαίσιο τους παραπάνω όρους και τους αναλύει περαιτέρω. Στο δεύτερο σκέλος της διπλωματικής γίνεται εισαγωγή στο πρακτικό κομμάτι, παρουσιάζοντας τη μεθοδολογία και τη χρήση του GPT-NER. Μέσω των δεδομένων που εισαγάγονται, παρατηρούμε γίνεται χρήση γλωσσικών μοντέλων, όπως το ChatGPT μέσω του ChatGPT wrapper, για να έχουμε πρόσβαση προγραμματιστικά στο ChatGPT με γλώσσα Python. Ο σκοπός θα είναι η επεξεργασία του κειμένου και δημιουργία ετικετών, σύμφωνα με τη στρατηγική του GPT-NER. Γίνεται ανάλυση της διαδικασίας που ακολουθείται, του κώδικα που χρησιμοποιείται και παρουσιάζονται τα αποτελέσματα.