Λογισμικά μηχανικής μάθησης και εξόρυξης δεδομένων. Μελέτη περίπτωσης σε συγκεκριμένο τύπο δεδομένων με ΚΝΙΜΕ

Abstract

Το θέμα της πτυχιακής εργασίας είναι τα Λογισμικά Μηχανικής Μάθησης και Εξόρυξης Δεδομένων με συγκεκριμένα παραδείγματα και μελέτη περιπτώσεων επεξεργασίας δεδομένων με το KNIME. Στην 1η ενότητα «Μηχανική Μάθηση» παρουσιάζονται οι εφαρμογές της Μηχανικής Μάθησης (Τεχνητή Νοημοσύνη και Μηχανική Μάθηση, Εξόρυξη Δεδομένων και Μηχανική Μάθηση, βελτιστοποίηση και Μηχανική Μάθηση, στατιστική και Μηχανική Μάθηση), η Τεχνητή Νοημοσύνη έναντι της Μηχανικής Μάθησης και τα είδη μάθησης (εποπτευόμενη, μη εποπτευόμενη μάθηση, ημι-εποπτευόμενη μάθηση, μάθηση ενίσχυσης). Στην 2η ενότητα με θέμα «Εξόρυξη Δεδομένων» καταγράφονται τα γενικά στοιχεία, η διαδικασία Εξόρυξης Δεδομένων (προεπεξεργασία, κανονικοποίηση, μετασχηματισμός, εξόρυξη δεδομένων, επικύρωση αποτελεσμάτων) και οι χρήσεις της Εξόρυξης Δεδομένων (παιχνίδια, επιχείρηση, επιστήμη). Στην 3η ενότητα με θέμα «Μέθοδοι Εξόρυξης Δεδομένων» παρουσιάζονται ο εντοπισμός προβλημάτων (εφαρμογές, τεχνικές εντοπισμού, εφαρμογή για την ασφάλεια δεδομένων), η εκμάθηση κανόνα σύνδεσης, τα δίκτυα Bayesian, η ταξινόμηση, η ανάλυση συμπλέγματος, τα δέντρα απόφασης, τα νευρωνικά δίκτυα, η ανάλυση παλινδρόμησης, η εξόρυξη κειμένου και η ανάλυση χρονοσειρών. Στην 4η ενότητα με θέμα «Τομείς Εφαρμογών Εξόρυξης Δεδομένων» παρουσιάζονται η Ανάλυση Δεδομένων, τα μεγάλα δεδομένα / bigdata, η βιοπληροφορική, η επιχειρηματική ευφυΐα, η αποθήκη δεδομένων, το Σύστημα Υποβοήθησης λήψης Αποφάσεων, η εξόρυξη δεδομένων βάσει τομέα και η εξόρυξη ιστού. Στην 5η ενότητα με θέμα «Παρουσίαση της Πλατφόρμας Knime Analytics» παρουσιάζεται η εγκατάσταση της πλατφόρμας και το περιβάλλον εργασίας της KNIME Analytics δημιουργώντας Ροές Εργασίας Workflows και επιλέγοντας αρχεία. Στην 6η ενότητα με θέμα «Ανάλυση Δομένων με το KNIME Analytics» καταγράφεται η στατιστική ανάλυση, η παρουσίαση και η επεξήγηση Δεδομένων, η δημιουργία διαγραμμάτων, η αλλαγή του ονόματος στις στήλες ενός αρχείου, η αντιμετώπιση χαμένων τιμών και η αναζήτηση πληροφορίας Στην 7η ενότητα με θέμα «Εξόρυξη Ανάλυση δομένων με το KNIME Analytics» παρουσιάζεται η ομαδοποίηση Clustering των Δεδομένων ενός αρχείου πελατών με τον αλγόριθμο k-means, με ιεραρχική ομαδοποίηση , τον αλγόριθμο DBSΚΆΝ και η ανίχνευση ακραίων τιμών με συνδυασμό των αλγόριθμων. Επίσης εξάγονται κανόνες ταξινόμησης των Δεδομένων ενός αρχείου, ερευνάται η γραμμική σχέση μεταβλητών με δύο αλγόριθμους (Linear Regression, Simple Regression Tree), οι οποίοι εφαρμόζονται και συνδυαστικά. Στην 8η ενότητα με θέμα «Μηχανική Μάθηση με το KNIMEAnalytics» δημιουργούνται, εκπαιδεύονται και ελέγχεται η απόδοση τριών μοντέλων ταξινόμησηw (Learning Tree, Random Forest, Logistic Regression) Δεδομένων ενός αρχείου. Στην τελευταία ενότητα παρουσιάζονται τα βασικά συμπεράσματα από την εξόρυξη Δεδομένων και την Μηχανική Μάθηση με το KNIME.