Γενικά στοιχεία
ΠΡΟΓΡΑΜΜΑ ΑΚΑΔ. ΕΤΟΥΣ 2020-21
Ωρα/Τόπος: Πέμπτη: 08:45-12:30 - Στo χειμερινό εξάμηνο 2020-21 οι διαλέξεις θα διεξαχθούν εξ αποστάσεως μέσω Webex.
(ορισμένες Δευτέρες (10:45-12:30) θα γίνεται εργαστήριο διαδικτυακά, κατόπιν ενημέρωσης)
Εναρξη για το Ακαδ. Έτος 2020-21: Πέμπτη 08-10-2020
Διδάσκοντες:
Καθ. Πέτρος Μαραγκός
Webex link: https://centralntua.webex.com/centralntua/j.php?MTID=mc052a343d55621b330f95b452a85ffb8
Αναπλ. Καθ. Αλέξανδρος Ποταμιάνος
Webex link: https://centralntua.webex.com/centralntua/j.php?MTID=m9c9249df0b5adc218ef5b719294892f0
Η νέα σελίδα του μαθήματος με ύλη, εκπαιδευτικό υλικό αλλά και εργασίες βρίσκεται στο moodle https://courses.pclab.ece.ntua.gr/course/index.php?categoryid=26.
| Εβδομάδα | Γνωστικό Αντικέιμενο | Σχετική Βιβλιογραφία (κωδικος βιβλίου -κεφάλαιο) |
| 1 | Introduction to Pattern Recognition and Machine Learning, Classic and Modern Approaches: Features, Models, Evaluation. Bayes Classifier. Probability refresher, Multivariate Gaussian distribution | Bishop 1 DHS 1.1-1.3 , DHS 2.1-2.2, Bishop 2.3 |
| 2 | Bayes classifier error estimation - Discriminant function derived from Bayes Classifier for Gaussian distributions - Detection, Receiver Operator Curve - Action Classification/Minimax criterion - Estimation/Training of parametric distributions (supervised learning) using Maximum Likelihood - Maximum Likelihood for Gaussian distributions | TK 2 |
| 3 | Maximum a Posteriori - Bayesian Estimation - Expectation Maximization for partially observable/missing data - Introduction to unsupervised training - GMMs - Introduction to feature selection - Introduction to model selection - Curse of Dimensionality - Bayes and Total (Bayes+estimation+modeling) error for Gaussian distributions - Introduction to the notion of overfitting, sparse data and regularization | DHS 3.1-3.4, 3.7 Bishop 9.3 Slides TK2 |
| 4 | Linear Classifiers: Linear Discriminant Functions and Decision Surfaces. Linear Regression with Least Squares. Nonlinear Feature Embedding. Tuning model complexity (Bias vs Variance), Cross-validation. Ridge regression (Least squares with Regularization). Probabilistic formulation of Linear Regression. Logistic Regression. | DHS 5, TK 3, slides |
| 5 | Linear Classifiers: Perceptrons. Training Algorithms: Batch, Sequential, Relaxation. MSE-based methods. Introduction to training with Linear Programming. Support Vector Machines (SVMs): Problem formulation and Training with Primal/Dual Quadratic Programming. Linear and Nonlinear Kernels. Applications. | TK 3, Slides |
| 6 | Graphical Models - Bayesian Networks - Markov Models - Hidden Markov Models | Bishop 8.1 8.2 13.1 13.2 |
| 7 | Markov Random Fields - Inference in Graphical Models - Mixture Models - Unsupervised Training - K-means, Decision Trees - CART - Minimum Edit Distance (DHS) | Bishop 8.3, 8.4, 9.1, 9.2 |
| 8 | Στοιχεία Γραμμικής Αλγεβρας και Ελάχιστα Τετράγωνα. Singular Value Decomposition (SVD). Karhunent Loeve Transform (KLT). Principal Component Analysis (PCA). Εφαρμογές σε Οραση Υπολογιστων - Eigenfaces (Slides) |
|
| 9 | PCA (συνεχεια). Linear Discriminant Analysis (LDA). Independent Component Analysis (ICA). Νευρωνικά Δίκτυα Πολλαπλών Επιπέδων (Multi-Layer Perceptrons - MLP) | Slides & TK (Κεφ.4,6) |
| 10 | Multi-Layer Perceptrons and BackPropagation. Deep Neural Nets (DNNs) - CNNs | Slides |
| 11 | RNNs -autoencoders/GANs - deep learning applications | Slides - GoodFellow et al ch10,12,14 |
| * | Lab I on optical digit recognition | |
| * | Lab II on speech recognition | |
| * | Lab III on music emotion recognition |
|
Εισαγωγή στην θεωρία και αλγορίθμους της στατιστικής αναγνώρισης προτύπων με εφαρμογές σε αναγνώριση ήχων, οπτικών αντικειμένων, οπτικο-ακουστικών γεγονότων, και άλλων χωρο-χρονικών αισθητηριακών ή συμβολικών δεδομένων. Bayesian θεωρία απόφασης και εκτίμησης. Κανόνας απόφασης του κοντινότερου γείτονα. Τεχνικές συγκέντρωσης (clustering) όπως k-means, και τεχνικές εκμάθησης χωρίς επίβλεψη. Δέντρα απόφασης. Μετασχηματισμοί και επιλογή χαρακτηριστικών στον χώρο προτύπων όπως ανάλυση σε πρωτεύουσες συνιστώσες (PCA), ανεξάρτητες συνιστώσες (ICA), κανονική συσχέτιση (CCA), διακριτική ανάλυση (LDA). Tεχνικές ταξινόμησης προτύπων με γραμμικές διακριτικές μηχανές τύπου Perceptron και Support Vector Machines. Κρυφά Μαρκοβιανά μοντέλα (HMMs), Μείγματα Γκαουσιανών (GMMs), αλγόριθμοι Expectation-Maximization και Viterbi. Δυναμικά Bayesian nets. Πιθανοτικά γραφικά μοντέλα. Τεχνικές Deep Learning (DNNs, CNNs, RNNs). Αναλυτικές και Εργαστηριακές ασκήσεις.
Course Description
Introduction to the theory and algorithms of statistical pattern recognition with applications to recognition of sounds (e.g. speech, music), visual objects, audio-visual events, and other spatio-temporal sensory or symbolic data. Bayesian decision and estimation theory (Maximum Likelihood, Maximum-A-Posteriori). Nearest neighbor decision rule. Methods for clustering (e.g. k-means) and unsupervised learning. Decision trees. Methods for feature transformation and selection in pattern space, and dimensionality reduction: principal component analysis (PCA), linear discriminant analysis (LDA), independent component analysis (ICA). Methods for linear and nonlinear regression. Pattern classification methods with linear discriminant machines: Perceptrons και Support Vector Machines. Hidden Markov models (HMMs), Gaussian Mixture models (GMMs), Expectation-Maximization algorithm, Viterbi algorithm. Dynamic Bayesian nets. Probabilistic graphical models. Deep learning methods: Deep, Convolutional, Recursive Neural Nets (DNNs CNNs, RNNs). Analytic and laboratory exercises.
Μεταπτυχιακοί Βοηθοί:
Γιώργος Παρασκευόπουλος (geopar@central.ntua.gr)
Παναγιώτης Μέρμιγκας (pmermigkas@central.ntua.gr)
Ευθύμης Γεωργίου (efthygeo@mail.ntua.gr)
Παναγιώτης Φιλντίσης (filntisis.panagiotis@gmail.com)
Επιστημονικοί Συνεργάτες:
Δρ. Νάνσυ Ζλατίντση
Γραμματεία:
Βίκυ Πλατίτσα (vickyplatitsa@gmail.com)
|
|