mycourses .ntua.gr
Αναγνώριση Προτύπων

Γενικά στοιχεία

 

Περιγραφή

 ΠΡΟΓΡΑΜΜΑ ΑΚΑΔ. ΕΤΟΥΣ 2020-21

Ωρα/Τόπος: Πέμπτη: 08:45-12:30 - Στo χειμερινό εξάμηνο 2020-21 οι διαλέξεις θα διεξαχθούν εξ αποστάσεως μέσω Webex.

(ορισμένες Δευτέρες (10:45-12:30) θα γίνεται εργαστήριο διαδικτυακά, κατόπιν ενημέρωσης)

Εναρξη για το Ακαδ. Έτος 2020-21: Πέμπτη 08-10-2020

Διδάσκοντες:

Καθ. Πέτρος Μαραγκός 

Webex link:  https://centralntua.webex.com/centralntua/j.php?MTID=mc052a343d55621b330f95b452a85ffb8

Αναπλ. Καθ. Αλέξανδρος Ποταμιάνος 

Webex link: https://centralntua.webex.com/centralntua/j.php?MTID=m9c9249df0b5adc218ef5b719294892f0

 

Η νέα σελίδα του μαθήματος με ύλη, εκπαιδευτικό υλικό αλλά και εργασίες βρίσκεται στο moodle https://courses.pclab.ece.ntua.gr/course/index.php?categoryid=26.

Ύλη
ΕβδομάδαΓνωστικό Αντικέιμενο

Σχετική Βιβλιογραφία

(κωδικος βιβλίου -κεφάλαιο)

1 Introduction to Pattern Recognition and Machine Learning, Classic and Modern Approaches: 
Features, Models, Evaluation. Bayes Classifier. Probability refresher, Multivariate 
Gaussian distribution 
Bishop 1
DHS 1.1-1.3 , DHS 2.1-2.2, Bishop 2.3
2
Bayes classifier error estimation - Discriminant function derived from Bayes Classifier for Gaussian distributions - Detection, Receiver Operator Curve - Action Classification/Minimax criterion - Estimation/Training of parametric distributions (supervised learning) using Maximum Likelihood - Maximum Likelihood for Gaussian distributions

 
DHS 2.3-2.9, 3.1, 3.2.

TK 2

3
Maximum a Posteriori -  Bayesian Estimation - 
Expectation Maximization for partially observable/missing data - Introduction to unsupervised training - GMMs - Introduction to feature selection - Introduction to model selection - Curse of Dimensionality - Bayes and Total (Bayes+estimation+modeling) error for Gaussian distributions - Introduction to the notion of overfitting, sparse data  and regularization

DHS 3.1-3.4, 3.7

Bishop 9.3 

Slides 

TK2

4
Linear Classifiers: Linear Discriminant Functions and Decision Surfaces. Linear Regression with Least Squares. Nonlinear Feature Embedding. Tuning model complexity (Bias vs Variance), Cross-validation. Ridge regression (Least squares with Regularization). Probabilistic formulation of Linear Regression. Logistic Regression.

 DHS 5,

TK 3, slides

5
Linear Classifiers: Perceptrons. Training Algorithms: Batch, Sequential, Relaxation.  MSE-based methods. Introduction to training with Linear Programming.   Support Vector Machines (SVMs): Problem formulation and Training with Primal/Dual Quadratic Programming. Linear and Nonlinear Kernels. Applications.

TK 3,

Slides

6
Graphical Models - Bayesian Networks -  Markov Models - Hidden Markov Models 

Bishop 8.1 8.2  13.1 13.2 

7
Markov Random Fields - Inference in Graphical Models - Mixture Models - Unsupervised Training - K-means, Decision Trees - CART - Minimum Edit Distance (DHS)

Bishop 8.3, 8.4, 9.1, 9.2

8
 Στοιχεία Γραμμικής Αλγεβρας και Ελάχιστα Τετράγωνα. Singular Value Decomposition (SVD). Karhunent Loeve Transform (KLT). Principal Component Analysis (PCA). Εφαρμογές σε Οραση Υπολογιστων - Eigenfaces (Slides)  

 

9
PCA (συνεχεια). Linear Discriminant Analysis (LDA). Independent Component Analysis (ICA). Νευρωνικά Δίκτυα Πολλαπλών Επιπέδων (Multi-Layer Perceptrons - MLP)

 Slides &

TK (Κεφ.4,6)

10
Multi-Layer Perceptrons and BackPropagation.  Deep Neural Nets (DNNs) - CNNs
Slides
11
 RNNs -autoencoders/GANs - deep learning applications

Slides - GoodFellow et al ch10,12,14 

*
Lab I on optical digit recognition
 
*
Lab II on speech recognition
 
*
 Lab III on music emotion recognition

 

Συμπληρωματική Ηλεκτρονικη Ιστοσελιδα μαθηματος
Περιεχόμενα

Εισαγωγή στην θεωρία και αλγορίθμους της στατιστικής αναγνώρισης προτύπων με εφαρμογές σε αναγνώριση ήχων, οπτικών αντικειμένων, οπτικο-ακουστικών γεγονότων, και άλλων χωρο-χρονικών αισθητηριακών ή συμβολικών δεδομένων. Bayesian θεωρία απόφασης και εκτίμησης. Κανόνας απόφασης του κοντινότερου γείτονα. Τεχνικές συγκέντρωσης (clustering) όπως k-means, και τεχνικές εκμάθησης χωρίς επίβλεψη. Δέντρα απόφασης. Μετασχηματισμοί και επιλογή χαρακτηριστικών στον χώρο προτύπων όπως  ανάλυση σε πρωτεύουσες συνιστώσες (PCA), ανεξάρτητες συνιστώσες (ICA), κανονική συσχέτιση (CCA), διακριτική ανάλυση (LDA). Tεχνικές ταξινόμησης προτύπων με  γραμμικές διακριτικές μηχανές τύπου Perceptron και Support Vector Machines. Κρυφά Μαρκοβιανά μοντέλα (HMMs), Μείγματα Γκαουσιανών (GMMs),  αλγόριθμοι Expectation-Maximization και Viterbi. Δυναμικά Bayesian nets. Πιθανοτικά γραφικά μοντέλα. Τεχνικές Deep Learning (DNNs, CNNs, RNNs). Αναλυτικές και Εργαστηριακές ασκήσεις.

 

Course Description

Introduction to the theory and algorithms of statistical pattern recognition with applications to recognition of sounds (e.g. speech, music), visual objects, audio-visual events, and other spatio-temporal sensory or symbolic data. Bayesian decision and estimation theory (Maximum Likelihood, Maximum-A-Posteriori). Nearest neighbor decision rule. Methods for clustering (e.g. k-means) and unsupervised learning. Decision trees. Methods for feature transformation and selection in pattern space, and dimensionality reduction: principal component analysis (PCA), linear discriminant analysis (LDA), independent  component analysis (ICA). Methods for linear and nonlinear regression. Pattern classification methods with linear discriminant machines: Perceptrons και Support Vector Machines. Hidden Markov models (HMMs), Gaussian Mixture models (GMMs), Expectation-Maximization algorithm, Viterbi algorithm.  Dynamic Bayesian nets. Probabilistic graphical models.  Deep learning methods: Deep, Convolutional, Recursive Neural Nets (DNNs CNNs, RNNs). Analytic and laboratory exercises.

Βοηθοί μαθήματος και Συνεργάτες

Μεταπτυχιακοί Βοηθοί:

Γιώργος Παρασκευόπουλος (geopar@central.ntua.gr)

Παναγιώτης Μέρμιγκας (pmermigkas@central.ntua.gr)

Ευθύμης Γεωργίου (efthygeo@mail.ntua.gr)

Παναγιώτης Φιλντίσης (filntisis.panagiotis@gmail.com)

Επιστημονικοί Συνεργάτες:

Δρ. Νάνσυ Ζλατίντση

Γραμματεία:

Βίκυ Πλατίτσα (vickyplatitsa@gmail.com)

 

Εκπαιδευτικό Υλικό
Βιβλίο
  • [KS] Γ. Καραγιάννης και Γ. Σταϊνχάουερ,
    Αναγνώριση Προτύπων και Μάθηση Μηχανών,
    ΕΜΠ, 2001 (βιβλίο). 
  • [TK] S. Theodoridis and K. Koutroumbas, Pattern Recognition, Elsevier - Acad.Press. Ελληνική μετάφραση:  Σ. Θεοδωρίδης και Κ. Κουτρουμπάς, Αναγνώριση Προτύπων, Ιατρικές εκδόσεις Π.Χ. Πασχαλίδης, 2011.
  • [B] C. M. Bishop,  Αναγνώριση Προτύπων και Μηχανικη Μάθηση , Ελληνική μετάφραση: Εκδ. Γ. Φούντας.
  • Συμπληρωματικές Συνοπτικές Σημειώσεις σε Διαφάνειες, ΕΜΠ.
Βιβλιογραφία
  • [DHS] R. O. Duda, P.E. Hart and D.G. Stork,
    Pattern Classification,
    Wiley, 2001.
  • [Bishop] C. M. Bishop,
    Pattern Recognition and Machine Learning,
    Springer, 2006.
  • [Goodfellow-et-al], I. Goodfellow, Y. Bengio and A. Courville, Deep Learning, MIT Press, http://www.deeplearningbook.org .
  • [Theodoridis 2020] S. Theodoridis,  "Machine Learning: A Bayesian and optimisation
    perspective", Academic Press, 2nd Edition, 2020.