Αναλυτικές τεχνικές πραγματικού χρόνου με την Kappa αρχιτεκτονική

Abstract

Το αντικείμενο της διπλωματικής εργασίας αφορά την ανάλυση τεχνικών επεξεργασίας δεδομένων σε πραγματικό χρόνο, με έμφαση στην αρχιτεκτονική Kappa. Ξεκινώντας παρουσιάζονται οι έννοιες των BigData, τα χαρακτηριστικά τους και τις προκλήσεις που συνοδεύουν την διαχείρισή τους. Στην συνέχεια, γίνεται σύγκριση μεταξύ της αρχιτεκτονικής Lamda και Kappa, με την πρώτη να προσφέρει επεξεργασία δεδομένων τόσο σε πραγματικό χρόνο όσο και σε batch μορφή, αλλά με βασικό μειονέκτημα της την αυξημένη πολυπλοκότητα. Αντίθετα, η Kappa αρχιτεκτονική βασίζεται αποκλειστικά στο stream processing, παρέχοντας απλοποιημένη διαχείριση και μειωμένο κόστος συντήρησης. Η εργασία αναλύει τεχνολογίες όπως το Apache Kafka, το Apache Storm, το Apache Flink και το Apache Spark. Συγκεκριμένα, το Apache Kafka, λειτουργεί ως κατανεμημένο σύστημα ανταλλαγής μηνυμάτων, το Apache Storm είναι ένα ισχυρό σύστημα επεξεργασίας ροών δεδομένων, το οποίο προσφέρει χαμηλή καθυστέρηση, το Apache Flink, υποστηρίζει event-time processing, επεξεργασία την στιγμή που συνέβη το γεγονός, και το Apache Spark, που επιτρέπει real-time ανάλυση μέσω micro-batching. Τέλος, παρουσιάζεται μια υλοποίηση με τη χρήση του Apache Kafka και του Apache Spark, με πρακτικό παράδειγμα εφαρμογής της Kappa αρχιτεκτονικής. Στόχος της διπλωματικής είναι η διερεύνηση των δυνατοτήτων και των περιορισμών της Kappa, καθώς και η παρουσίαση των πλεονεκτημάτων που προσφέρει στην ανάλυση δεδομένων σε πραγματικό χρόνο.