Διερεύνηση και τεκμηρίωση σύγχρονων κατανεμημένων μεθόδων και τεχνικών για την εξόρυξη και ανάλυση Μεγάλων Δεδομένων στα άκρα

Abstract

Η παρούσα διπλωματική εργασία έχει ως στόχο τη διερεύνηση τεχνολογιών και εργαλείων για τη δημιουργία ενός κατανεμημένου συστήματος υπολογισμού κοντά στο υπολογιστικό άκρο (edge computing). Ο υπολογισμός στο άκρο αποτελεί σημαντικό ερευνητικό θέμα καθώς η κυρίαρχη πρακτική της χρήσης του υπολογιστικού νέφους για κάθε υπολογισμό φέρει μειονεκτήματα σε επίπεδο σημαντικών χρονικών καθυστερήσεων και ασφάλειας δεδομένων. Ως λύση προτείνεται η μεταφορά μέρους ή του συνόλου των υπολογισμών στο άκρο, δηλαδή κοντά στο σημείο συλλογής των δεδομένων. Η λύση αυτή, αν και είναι εύκολη για μικρά συστήματα, αρχίζει να παρουσιάζει σημαντικές προκλήσεις όσο αυξάνεται το μέγεθος και η πολυπλοκότητα του συστήματος. Στο παράδειγμα της έξυπνης πόλης και του έξυπνου δικτύου ηλεκτρικής ενέργειας για παράδειγμα, το πλήθος και η ετερογένεια των συσκευών που συμμετέχουν στο σύστημα αποτελεί σημαντικό παράγοντα που πρέπει να αντιμετωπιστεί. Η παρούσα εργασία επιδιώκει να προσφέρει στο συγκεκριμένο χώρο προτείνοντας μια αρχιτεκτονική πολλαπλών επιπέδων σε ένα κατανεμημένο σύστημα επικοινωνίας και υπολογισμού που εκτείνεται από το άκρο έως το νέφος, αξιοποιώντας την ιδέα της συνέχειας (cloud-edge continuum). Χρησιμοποιώντας συσκευές χαμηλής κατανάλωσης και υπολογιστικής ισχύος σε συνδυασμό με πιο ισχυρό υλικό όπου αυτό επιβάλλεται, μπορούμε να διαρθρώσουμε ένα σύστημα στο οποίο θα ομαδοποιούνται χωρικά συσκευές και η επεξεργασία των δεδομένων τους θα γίνεται κατά τόπους. Τα πολλαπλά επίπεδα λειτουργούν ως υπολογιστική ομίχλη (fog) μεταξύ άκρου και νέφους, ώστε να παρέχεται ευελιξία στον υπολογισμό και τη διαχείριση των δεδομένων. Σε επίπεδο τεχνολογιών, επιλέχθηκε η χρήση ενός εγγενώς κατανεμημένου εργαλείου όπως είναι το Akka, το οποίο αποτελεί υλοποίηση του actor model. Η επιλογή έγινε για να επιτευχθεί η μέγιστη δυνατή κατανομή πόρων και εργασιών σε συνδυασμό με ασφάλεια και απλή επικοινωνία όπως αυτά παρέχονται από τους εσωτερικούς μηχανισμούς του Akka. Παράλληλα γίνεται ανασκόπηση τεχνολογιών οι οποίες θα μπορούσαν να χρησιμοποιηθούν για την υλοποίηση του συστήματος με τρόπο αποδοτικό και εύκολα επεκτάσιμο.