A Framework for the Collection, Storage and Visualisation of Big Maritime Data

Abstract

Η βιομηχανία της ναυτιλίας παράγει καθημερινά τεράστιους όγκους δεδομένων, και σε πολλές περιπτώσεις τα δεδομένα που είναι δημόσια διαθέσιμα είναι ελλι- πή. Η αποτελεσματική διαχείριση και εξαγωγή συμπερασμάτων από αυτά τα δεδομένα παραμένει μια σημαντική πρόκληση. Ο στόχος αυτής της διπλωματικής είναι να αντιμετωπίσει αυτήν την πρόκληση μέσω της ανάπτυξης ενός ολοκληρωμένου συστήματος διαχείρισης δεδομένων, σχεδιασμένου να συγκεντρώνει, να διαχειρίζεται και να οπτικοποιεί τις πορείες πλοίων και τα σχε- τιζόμενα ναυτιλιακά στατιστικά από διαφορετικές πηγές δεδομένων. Η κύρια έμφαση δίνεται στην αξιοποίηση σύγχρονων εργαλείων και τεχνικών για την ενοποίηση των ελλιπών δεδομένων και τη δημιουργία μιας ενιαίας πηγής. Για να επιτευχθεί αυτό, το σύστημα χρησιμοποιεί προηγμένες τεχνικές web scraping για την συλλογή των δεδομένων ιστού και τεχνικές μηχανικής μάθησης για τον εμπλουτισμό τους όπως η θέση του εκάστοτε πλοίου. Τα δεδομένα αποθηκεύονται σε μια βάση δεδομένων NoSQL, η οποία επιλέχθηκε για την επεκτασημότητα και την ευ- ελιξία της στη διαχείριση και την εκτέλεση ερωτημάτων σε μεγάλα σύνολα δεδομένων. Αφού συγκεντρωθούν τα δεδομένα, το σύστημα εκτελεί διάφορες αναλύσεις και οπτι- κοποίησεις, παρέχοντας πολύτιμες πληροφορίες για τις ναυτιλιακές διαδρομές και άλλα σχετικά στατιστικά. Συμπερασματικά, αυτή η διπλωματική παρουσιάζει ένα ολοκληρωμένο σύστημα δια- χείρησης μεγάλων ναυτιλιακών δεδομένων, απλοποιώντας τις διαδικασίες συλλογής, ανάλυσης και οπτικοποίησης του, και παρέχει σε χρήστες χωρίς υπόβαθρο στην πλη- ροφορική τη δυνατότητα να εκμεταλλευθούν επιχειρησιακά τα συλλεχθέντα σύνολα δεδομένων.