Διερευνητική Ανάλυση Δεδομένων: Μέθοδοι και Μελέτες Περίπτωσης

Abstract

Στη διερευνητική ανάλυση δεδομένων τα σύνολα δεδομένων αναλύονται για να παρουσιαστούν τα κύρια χαρακτηριστικά τους. Για την πιο εύληπτη και διαισθητική παρουσίαση των χαρακτηριστικών αυτών στους χρήστες, είναι ιδιαίτερα σύνηθες να χρησιμοποιείται η οπτικοποίηση των δεδομένων. Η σύγχρονη τεχνολογία, δημιουργεί αυξημένους όγκους δεδομένων που χρήζουν ανάλυσης, ενώ η ανάλυση αυτή πραγματοποιείται συχνά από διαφορετικές ομάδες χρηστών, με διαφορετικούς στόχους και διαφορετικές ανάγκες από την ανάλυση δεδομένων. Επιπρόσθετα, η διαθεσιμότητα των ανοικτών δεδομένων δημιουργεί πρόσθετες ευκαιρίες συσχέτισης δεδομένων για τη δημιουργία εμπλουτισμένων συνόλων δεδομένων, και κατόπιν εξαγωγής πληροφοριών και συμπερασμάτων από εμπλουτισμένα αυτά σύνολα. Για τους λόγους αυτούς, είναι σημαντικό να υπάρχουν ευέλικτες και αποτελεσματικές μέθοδοι για τη συλλογή, αποθήκευση και διαχείριση των δεδομένων, την εξέταση των μεθόδων της στατιστικής επεξεργασίας και την οπτικοποίηση. Στο επίπεδο της αποθήκευσης και διαχείρισης των δεδομένων, η χρήση συστημάτων σχεσιακών βάσεων δεδομένων αποτελεί μία καλά δοκιμασμένη τεχνική η οποία εγγυάται καλή απόδοση, αποτελεσματικότητα και ευκολία στη διαχείριση. Για τον εντοπισμό και τη συλλογή δεδομένων προς εμπλουτισμό των αρχικών συλλογών δεδομένων μπορούν να αξιοποιηθούν τα αποθετήρια ανοικτών δεδομένων (open data repositories). Η σύγχρονη τάση μάλιστα, να διατίθενται όλο και περισσότερα και πιο πλούσια σύνολα δεδομένων ως ανοικτά δεδομένα, παράλληλα με την υιοθέτηση των αρχών FAIR (Findable, Accessible, Interoperable, Reusable – ανακαλύψιμα/ευρέσιμα, προσβάσιμα, διαλειτουργικά και επαναχρησιμοποιήσιμα) [6] από τα αποθετήρια ανοικτών δεδομένων, καθιστούν την εύρεση συνόλων ανοικτών δεδομένων ευχερέστερη και τη χρήση τους πιο προσοδοφόρα. Η διάθεση μάλιστα των ανοικτών δεδομένων σε μορφές που είναι ευχερές να εισαχθούν σε σχεσιακές βάσεις δεδομένων (όπως π.χ. CSV, XLS/XLX/JSON), κατ’ εφαρμογή της αρχής της διαλειτουργικότητας, διευκολύνει τη δημιουργία των εμπλουτισμένων συνόλων δεδομένων. Στον τομέα της στατιστικής επεξεργασίας των δεδομένων και της οπτικοποίησης, νέα σύγχρονα εργαλεία όπως η γλώσσα προγραμματισμού R , η οποία είναι προσανατολισμένη στη στατιστική επεξεργασία των δεδομένων, καθώς και πιο υψηλού επιπέδου εργαλεία που ενοποιούν την πρόσβαση σε βάσεις δεδομένων με τη στατιστική επεξεργασία και την οπτικοποίηση, όπως π.χ. τα Grafana και Kibana , επιτρέπουν στους χρήστες να έχουν πρόσβαση σε προκατασκευασμένες οπτικοποίησεις της πληροφορίας ή/και να αναπτύσσουν νέες οπτικοποιήσεις, προσαρμοσμένες στις δικές τους ανάγκες, πολλές φορές μάλιστα με λίγες ή καθόλου γνώσεις προγραμματισμού. Στην παρούσα διπλωματική εργασία, αναλύονται αρχικά οι ανωτέρω συνιστώσες του πλαισίου της διερευνητικής ανάλυσης δεδομένων, όπως αυτό διαμορφώνεται με τις σύγχρονες εξελίξεις. Στη συνέχεια, πραγματοποιείται μία μελέτη περίπτωσης η οποία αντλείται από τον χώρο της αγοράς τηλεπικοινωνιών, όπου σύνολα ανοικτών δεδομένων αντλούνται, εισάγονται σε σύστημα διαχείρισης σχεσιακών βάσεων δεδομένων και τέλος αναπτύσσονται κατάλληλες στατιστικές επεξεργασίες και οπτικοποιήσεις, χρησιμοποιώντας το εργαλείο Grafana. Η συγκεκριμένη μελέτη περίπτωσης αφορά τα δεδομένα μέτρησης ταχύτητας διαδικτυακών συνδέσεων ΥΠΕΡΙΩΝ (https://hyperiontest.gr/), τα οποία συνδυάζονται με δεδομένα που αφορούν τις περιοχές της χώρας, και που αφορούν ιδίως την οικονομική δραστηριότητα.