Είσοδος

Αναγνώριση Προτύπων

Γενικά στοιχεία

 

 
Περιγραφή

 ΠΡΟΓΡΑΜΜΑ ΑΚΑΔ. ΕΤΟΥΣ 2018-19 

Ωρα/Τόπος: Πέμπτη: 08:45-12:30 (Αιθ.006)  

(ορισμένες Δευτέρες (10:45-12:30) θα γίνεται εργαστήριο στο PC Lab, κατόπιν ενημέρωσης)

Εναρξη: Πέμπτη 04-10-2018

Διδάσκοντες:

Καθ. Πέτρος Μαραγκός 

Αναπλ. Καθ. Αλέξανδρος Ποταμιάνος 

             

Ύλη

ΕβδομάδαΓνωστικό Αντικέιμενο

Σχετική Βιβλιογραφία

(κωδικος βιβλίου -κεφάλαιο)

1 Introduction to pattern recognition - Problem definition: 
Features, Models, Evaluation - Bayes Classifier - Probability refresher  - Multivariate 
Gaussian distribution 
Bishop 1
DHS 1.1-1.3 , DHS 2.1-2.2, Bishop 2.3
2
Bayes classifier error estimation - Discriminant function derived from Bayes Classifier for Gaussian distributions - Detection, Receiver Operator Curve - Action Classification/Minimax criterion - Estimation/Training of parametric distributions (supervised learning) using Maximum Likelihood - Maximum Likelihood for Gaussian distributions

 
DHS 2.3-2.5, 2.6, 2.7, 3.1, 3.2.

TK 2

3
Maximum a Posteriori -  Bayesian Estimation - 
Expectation Maximization for partially observable/missing data - Introduction to unsupervised training - GMMs - Introduction to feature selection - Introduction to model selection - Curse of Dimensionality - Bayes and Total (Bayes+estimation+modeling) error for Gaussian distributions - Introduction to the notion of overfitting, sparse data  and regularization

DHS 3.1-3.4, 3.7

Bishop 9.3 

Slides 

TK2

4
Linear Classifiers: Linear Discriminant Functions and Decision Surfaces. Linear Regression with Least Squares. Nonlinear Feature Embedding. Tuning model complexity (Bias vs Variance), Cross-validation. Ridge regression (Least squares with Regularization). Probabilistic formulation of Linear Regression. Logistic Regression.

 DHS 5,

TK 3, slides

5
Linear Classifiers: Perceptrons. Training Algorithms: Batch, Sequential, Relaxation.  MSE-based methods. Introduction to training with Linear Programming.   Support Vector Machines (SVMs): Problem formulation and Training with Primal/Dual Quadratic Programming. Linear and Nonlinear Kernels. Applications.

TK 3,

Slides

6
Graphical Models - Bayesian Networks -  Markov Models - Hidden Markov Models 

Bishop 8.1 8.2  13.1 13.2 

7
Markov Random Fields - Inference in Graphical Models - Mixture Models - Unsupervised Training - K-means, Decision Trees - CART - Minimum Edit Distance (DHS)

Bishop 8.3, 8.4, 9.1, 9.2

8
 Στοιχεία Γραμμικής Αλγεβρας και Ελάχιστα Τετράγωνα. Singular Value Decomposition (SVD). Karhunent Loeve Transform (KLT). Principal Component Analysis (PCA). Εφαρμογές σε Οραση Υπολογιστων - Eigenfaces (Slides)  

 

9
PCA (συνεχεια). Linear Discriminant Analysis (LDA). Independent Component Analysis (ICA). Νευρωνικά Δίκτυα Πολλαπλών Επιπέδων (Multi-Layer Perceptrons - MLP)

 Slides &

TK (Κεφ.4,6)

10
Multi-Layer Perceptrons and BackPropagation.  Deep Neural Nets (DNNs)
Slides
11
CNNs - RNNs -deep learning applications

 

*
Lab I on optical digit recognition
 
*
Lab II on speech recognition
 
*
 Lab III on music emotion recognition

 

Συμπληρωματική Ηλεκτρονικη Ιστοσελιδα μαθηματος

http://cvsp.cs.ntua.gr/courses/patrec/

Περιεχόμενα


Εισαγωγή στην στατιστική αναγνώριση προτύπων με εφαρμογές σε αναγνώριση ήχων, οπτικών αντικειμένων, οπτικο-ακουστικών γεγονότων και άλλων χωρο-χρονικών αισθητηριακών ή συμβολικών δεδομένων. Bayesian θεωρία απόφασης και εκτίμησης. Κανόνας απόφασης του κοντινότερου γείτονα. Τεχνικές συγκέντρωσης (clustering) όπως k-means, και τεχνικές εκμάθησης χωρίς επίβλεψη. Δέντρα απόφασης. Μετασχηματισμοί και επιλογή χαρακτηριστικών στον χώρο προτύπων όπως  ανάλυση σε πρωτεύουσες συνιστώσες (PCA), ανεξάρτητες συνιστώσες (ICA), κανονική συσχέτιση (CCA), διακριτική ανάλυση (LDA). Tεχνικές ταξινόμησης προτύπων με  γραμμικές διακριτικές μηχανές τύπου Perceptron και Support Vector Machines. Κρυφά Μαρκοβιανά μοντέλα (HMMs), Μείγματα Γκαουσιανών (GMMs),  αλγόριθμοι Expectation-Maximization και Viterbi. Δυναμικά Bayesian nets. Πιθανοτικά γραφικά μοντέλα. Τεχνικές Deep Learning. Εργαστηριακές ασκήσεις.

 

Βοηθοί μαθήματος και Συνεργάτες

 

Γιώργος Παρασκευόπουλος (geopar@central.ntua.gr),

Παναγιώτης Μέρμιγκας (pmermigkas@central.ntua.gr),

Νίκος Ελληνας (nellinas@central.ntua.gr). 

Επιστημονικοί Συνεργάτες:

Δρ. Νάνσυ Ζλατίντση (nzlat@cs.ntua.gr),

Δρ. Ιωσήφ Ηλίας (iosife@central.ntua.gr).

 

Εκπαιδευτικό Υλικό

Βιβλίο
  • [KS] Γ. Καραγιάννης και Γ. Σταϊνχάουερ,
    Αναγνώριση Προτύπων και Μάθηση Μηχανών,
    ΕΜΠ, 2001 (βιβλίο). 
  • [TK] S. Theodoridis and K. Koutroumbas, Pattern Recognition, Elsevier - Acad.Press. Ελληνική μετάφραση:  Σ. Θεοδωρίδης και Κ. Κουτρουμπάς, Αναγνώριση Προτύπων, Ιατρικές εκδόσεις Π.Χ. Πασχαλίδης, 2011.
  • Συμπληρωματικές Συνοπτικές Σημειώσεις σε Διαφάνειες, ΕΜΠ.
Βιβλιογραφία
  • [DHS] R. O. Duda, P.E. Hart and D.G. Stork,
    Pattern Classification,
    Wiley, 2001.
  • [Bishop] C. M. Bishop,
    Pattern Recognition and Machine Learning,
    Springer, 2006.
  • [Goodfellow-et-al], I. Goodfellow, Y. Bengio and A. Courville, Deep Learning, MIT Press, http://www.deeplearningbook.org .


 
Συγχρηματοδότηση
από την Ε.Ε.