Μαζικά δεδομένα (Big data) και τεχνολογίες επεξεργασίας τους

Abstract

Στην εργασία αυτή παρουσιάζεται η ιδέα των Big data, αναφέρεται και αναλύεται η αλυσίδα αξίας των Big data. Αυτή η αλυσίδα αποτελείται από την παραγωγή των δεδομένων, την απόκτηση των δεδομένων, την αποθήκευση των δεδομένων και την ανάλυση των δεδομένων. Στην παραγωγή των δεδομένων, παρουσιάζονται πηγές δεδομένων Big data και τα χαρακτηριστικά αυτών. Στην απόκτηση των δεδομένων, παρουσιάζονται τυπικές τεχνολογίες συλλογής δεδομένων, μέθοδοι μεταφοράς και προ-επεξεργασίας . Για την αποθήκευση στα Big data, παρουσιάζονται οι NoSQL βάσεις δεδομένων, που βασίζονται σε τεχνολογίες σύννεφου (cloud-based), και παρατίθεται σύγκριση βασικών χαρακτηριστικών για το σχεδιασμό συστημάτων Big data. Παρουσιάζονται αντιπροσωπευτικά μοντέλα προγραμματισμού, με κυρίαρχο το MapReduce. Η ανάλυση των δεδομένων, καθοδηγείται από τα χαρακτηριστικά των δεδομένων, ωστόσο οι τεχνικές εξόρυξης γνώσης είναι εκείνες που επικρατούν. Παρουσιάζονται οι κυριότεροι αλγόριθμοι στην εξόρυξη δεδομένων, που χρησιμοποιούνται ευρέως και στο πεδίο των Big data και αναφέρονται παραδείγματα εφαρμογών Big data. Τέλος, γίνεται αναφορά στην επικρατέστερη πλατφόρμα λογισμικού σε όλο το φάσμα των Big data, τo Hadoop και στα σύγχρονα σημεία αναφοράς των Big data.