Facial expression recognition based on facial anatomy
dc.authorid | 0000-0001-6282-6703 | |
dc.authorid | 0000-0001-6282-6703 | en_US |
dc.contributor.advisor | Eskil, Mustafa Taner | en_US |
dc.contributor.author | Benli, Kristin Surpuhi | en_US |
dc.contributor.other | Işık Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Doktora Programı | en_US |
dc.date.accessioned | 2016-06-24T02:03:05Z | |
dc.date.available | 2016-06-24T02:03:05Z | |
dc.date.issued | 2013-06-06 | |
dc.department | Işık Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Doktora Programı | en_US |
dc.description | Text in English ; Abstract: Turkish and English | en_US |
dc.description | Includes bibliographical references (leaves 102-117) | en_US |
dc.description | xiv, 118 leaves | en_US |
dc.description.abstract | In this thesis we propose to determine the underlying muscle forces that compose a facial expression under the constraint of facial anatomy. Muscular activities are novel features that are highly representative of facial expressions. We model human face with a 3D generic wireframe model that embeds all major muscles. The input to our expression recognition system is a video with marked set of landmark points on the first frame. We use these points and a semi-automatic fitting algorithm to register the 3D face model to the subject's face. The influence regions of facial muscles are estimated and projected to the image plane to determine feature points. These points are tracked on the image plane using optical flow algorithm. We estimate the rigid body transformation of the head through a greedy search algorithm. This stage enables us to align the 3D face model with the subject's head in consecutive frames of the video. We use ray tracing from the perspective reference point and through the image plane to estimate the new coordinates of model vertices. The estimated vertex coordinates indicate how the subject's face is deformed in the progression of an expression. The relative motion of model vertices provides us an over-determined linear system of equations where unknown parameters are the muscle activation levels. This system of equations is solved using constrained least square optimization. Muscle activity based features are evaluated in a classification problem of seven basic facial expressions. We demonstrate the representative power of muscle force based features on four classifiers; Linear Discriminant Analysis, Naive Bayes, k-Nearest Neighbor and Support Vector Machine. The best performance on the classification problem of seven expressions including neutral was 87.1 %, obtained by use of Support Vector Machine. The results we attained in this study are close to the human recognition ceiling of 87-91.7 % and comparable with the state of the art algorithms in the literature. | en_US |
dc.description.abstract | Bu tezin amacı yüz ifadelerini oluşturan kas kuvvetlerinin yüz anatomisi kısıtı altında tespit edilmesidir. Kas aktivasyonları yüz ifadelerini büyük ölçüde temsil eden yeni özniteliklerdir. insan yüzü temel yüz kaslarını içeren üç boyutlu genel bir telkafes ile modellenmiştir. İfade tanıma sisteminin girdisi imge dizisinin ilk çerçevesi üzerinde işaretlenmiş olan nirengi noktalarıdır. İşaretlenmiş olan nirengi noktaları ve yarı-otomatik yüz modelleme algoritması kullanılarak üç boyutlu yüz modeli denge uyarlanır. Yüz kaslarının etki alanları tahmin edilir ve kamera düzlemine izdüşümleri öznitelik noktaları olarak belirlenir. Bu noktalar kamera düzleminde optik akış algoritması ile izlenir. Basın katı devinimi fırsatçı algoritma ile tahmin edilir. Bu aşama 3 boyutlu yüz modeli ile deneğin kafasının videonun ardışık çerçevelerinde hizalanmasını sağlar. Kamera referans noktasından kamera düzlemi boyunca ışın izleme yöntemi kullanılarak modelin düğüm noktalarının yeni koordinatları tahmin edilir. Tahmin edilen düğüm koordinatları ifade oluşumu sırasında deneğin yüzünün nasıl şekil değiştirdiğini gösterir. Modelin düğüm noktalarının bağıl hareketleri ile bilinmeyen değişkenleri kas aktivasyon seviyeleri olan artık-belirtilmiş denklemler sistemi elde edilir. Bu denklemler sistemi kısıtlı en küçük kareler yöntemi kullanılarak çözülür. Kas aktivasyonlarına dayalı öznitelikler yedi temel yüz ifadesinin sınıflandırılması probleminde kullanılır. Kas kuvvetlerine dayalı özniteliklerin temsili gücü Doğrusal Ayırtaç Analizi, Naive Bayes, En Yakın K Komsu ve Destek Vektör Makineleri sınıflandırıcıları ile gösterilir. Nötr ifade de dahil olmak üzere yedi ifadenin sınıflandırılmasında en iyi performans 87.1 % ile Destek Vektör Makineleri kullanılarak elde edilir. Bu çalışmada elde edilen sonuçlar insanın yüz ifadesi tanımadaki yetkinlik oranı olan 87-91.7 % aralığına yakın olup literatürde yer alan çalışmaların başarıları ile kıyaslanabilir durumdadır. | en_US |
dc.description.sponsorship | This research is part of project “Expression Recognition based on Facial Anatomy”, grant number 109E061, supported by The Support Programme for Scientific and Technological Research Projects of The Scientific and Technological Research Council of Turkey (TÜBİTAK). | en_US |
dc.description.tableofcontents | FACS Action Units as Features | en_US |
dc.description.tableofcontents | Limitations of FACS AUs | en_US |
dc.description.tableofcontents | Motivation for Muscle Based Features | en_US |
dc.description.tableofcontents | Problem Statement and Overview of the System | en_US |
dc.description.tableofcontents | Organization of the Dissertation | en_US |
dc.description.tableofcontents | Overview of Facial Expression Recognition | en_US |
dc.description.tableofcontents | Facial Expressions and Their Characteristics | en_US |
dc.description.tableofcontents | Facial Expression Recognition | en_US |
dc.description.tableofcontents | Face Databases | en_US |
dc.description.tableofcontents | Face Detection | en_US |
dc.description.tableofcontents | Feature Extraction and Tracking | en_US |
dc.description.tableofcontents | Facial Expression Classification | en_US |
dc.description.tableofcontents | Face Model | en_US |
dc.description.tableofcontents | Facial Anatomy | en_US |
dc.description.tableofcontents | Types of Face Models | en_US |
dc.description.tableofcontents | High resolution Generic Model – HIGEM | en_US |
dc.description.tableofcontents | Placement of Muscles | en_US |
dc.description.tableofcontents | Muscle Model | en_US |
dc.description.tableofcontents | Wireframe Customization | en_US |
dc.description.tableofcontents | Ray Tracing | en_US |
dc.description.tableofcontents | Manual Fitting of the Wireframe Model to the Subject’s Face | en_US |
dc.description.tableofcontents | Semi-Automatic Fitting of the Wireframe Model to the Subject’s Face | en_US |
dc.description.tableofcontents | Selection of Facial Landmarks | en_US |
dc.description.tableofcontents | Wireframe Customization through Ray Tracing | en_US |
dc.description.tableofcontents | Wireframe Alignment | en_US |
dc.description.tableofcontents | Nearest Neighbors Weighted Average Customization (NNWA) | en_US |
dc.description.tableofcontents | Customization Experiments and Results | en_US |
dc.description.tableofcontents | Evaluating the Performance of Customization | en_US |
dc.description.tableofcontents | Identifying the Landmark Vertices | en_US |
dc.description.tableofcontents | NNWA Customization Results | en_US |
dc.description.tableofcontents | Procrustes Analysis Results | en_US |
dc.description.tableofcontents | Active Shape Model (ASM) Results | en_US |
dc.description.tableofcontents | Tracking Rigid Body Motion | en_US |
dc.description.tableofcontents | Optical Flow | en_US |
dc.description.tableofcontents | Lost Features Problem | en_US |
dc.description.tableofcontents | Estimating head orientation | en_US |
dc.description.tableofcontents | Estimating Deformations | en_US |
dc.description.tableofcontents | Solving muscle forces | en_US |
dc.description.tableofcontents | Least Squares Solution | en_US |
dc.description.tableofcontents | Experiments and Results | en_US |
dc.description.tableofcontents | Database Description | en_US |
dc.description.tableofcontents | Identified Muscle Forces | en_US |
dc.description.tableofcontents | Classification of Seven Basic Expressions | en_US |
dc.description.tableofcontents | Linear Discriminant Analysis (LDA) | en_US |
dc.description.tableofcontents | Naive Bayes (NB) | en_US |
dc.description.tableofcontents | k-Nearest Neighbor (kNN) | en_US |
dc.description.tableofcontents | Multi–class Support Vector Machine (Multi–class SVM) | en_US |
dc.description.tableofcontents | Discussion | en_US |
dc.identifier.citation | Benli, K. S. (2013). Facial expression recognition based on facial anatomy. İstanbul: Işık Üniversitesi Fen Bilimleri Enstitüsü | en_US |
dc.identifier.uri | https://hdl.handle.net/11729/1011 | |
dc.institutionauthor | Benli, Kristin Surpuhi | en_US |
dc.language.iso | en | en_US |
dc.publisher | Işık Üniversitesi | en_US |
dc.relation.publicationcategory | Tez | en_US |
dc.rights | info:eu-repo/semantics/openAccess | en_US |
dc.subject.lcc | TA1650 .B36 2013 | |
dc.subject.lcsh | Human face recognition (Computer science) | en_US |
dc.subject.lcsh | Facial expression | en_US |
dc.title | Facial expression recognition based on facial anatomy | en_US |
dc.title.alternative | Yüz anatomisine dayalı ifade tanıma | en_US |
dc.type | Doctoral Thesis | en_US |