Facial expression recognition based on facial anatomy

Basit Öğe Kaydı
dc.authorid0000-0001-6282-6703
dc.authorid0000-0001-6282-6703en_US
dc.contributor.advisorEskil, Mustafa Taneren_US
dc.contributor.authorBenli, Kristin Surpuhien_US
dc.contributor.otherIşık Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Doktora Programıen_US
dc.date.accessioned2016-06-24T02:03:05Z
dc.date.available2016-06-24T02:03:05Z
dc.date.issued2013-06-06
dc.departmentIşık Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Doktora Programıen_US
dc.descriptionText in English ; Abstract: Turkish and Englishen_US
dc.descriptionIncludes bibliographical references (leaves 102-117)en_US
dc.descriptionxiv, 118 leavesen_US
dc.description.abstractIn this thesis we propose to determine the underlying muscle forces that compose a facial expression under the constraint of facial anatomy. Muscular activities are novel features that are highly representative of facial expressions. We model human face with a 3D generic wireframe model that embeds all major muscles. The input to our expression recognition system is a video with marked set of landmark points on the first frame. We use these points and a semi-automatic fitting algorithm to register the 3D face model to the subject's face. The influence regions of facial muscles are estimated and projected to the image plane to determine feature points. These points are tracked on the image plane using optical flow algorithm. We estimate the rigid body transformation of the head through a greedy search algorithm. This stage enables us to align the 3D face model with the subject's head in consecutive frames of the video. We use ray tracing from the perspective reference point and through the image plane to estimate the new coordinates of model vertices. The estimated vertex coordinates indicate how the subject's face is deformed in the progression of an expression. The relative motion of model vertices provides us an over-determined linear system of equations where unknown parameters are the muscle activation levels. This system of equations is solved using constrained least square optimization. Muscle activity based features are evaluated in a classification problem of seven basic facial expressions. We demonstrate the representative power of muscle force based features on four classifiers; Linear Discriminant Analysis, Naive Bayes, k-Nearest Neighbor and Support Vector Machine. The best performance on the classification problem of seven expressions including neutral was 87.1 %, obtained by use of Support Vector Machine. The results we attained in this study are close to the human recognition ceiling of 87-91.7 % and comparable with the state of the art algorithms in the literature.en_US
dc.description.abstractBu tezin amacı yüz ifadelerini oluşturan kas kuvvetlerinin yüz anatomisi kısıtı altında tespit edilmesidir. Kas aktivasyonları yüz ifadelerini büyük ölçüde temsil eden yeni özniteliklerdir. insan yüzü temel yüz kaslarını içeren üç boyutlu genel bir telkafes ile modellenmiştir. İfade tanıma sisteminin girdisi imge dizisinin ilk çerçevesi üzerinde işaretlenmiş olan nirengi noktalarıdır. İşaretlenmiş olan nirengi noktaları ve yarı-otomatik yüz modelleme algoritması kullanılarak üç boyutlu yüz modeli denge uyarlanır. Yüz kaslarının etki alanları tahmin edilir ve kamera düzlemine izdüşümleri öznitelik noktaları olarak belirlenir. Bu noktalar kamera düzleminde optik akış algoritması ile izlenir. Basın katı devinimi fırsatçı algoritma ile tahmin edilir. Bu aşama 3 boyutlu yüz modeli ile deneğin kafasının videonun ardışık çerçevelerinde hizalanmasını sağlar. Kamera referans noktasından kamera düzlemi boyunca ışın izleme yöntemi kullanılarak modelin düğüm noktalarının yeni koordinatları tahmin edilir. Tahmin edilen düğüm koordinatları ifade oluşumu sırasında deneğin yüzünün nasıl şekil değiştirdiğini gösterir. Modelin düğüm noktalarının bağıl hareketleri ile bilinmeyen değişkenleri kas aktivasyon seviyeleri olan artık-belirtilmiş denklemler sistemi elde edilir. Bu denklemler sistemi kısıtlı en küçük kareler yöntemi kullanılarak çözülür. Kas aktivasyonlarına dayalı öznitelikler yedi temel yüz ifadesinin sınıflandırılması probleminde kullanılır. Kas kuvvetlerine dayalı özniteliklerin temsili gücü Doğrusal Ayırtaç Analizi, Naive Bayes, En Yakın K Komsu ve Destek Vektör Makineleri sınıflandırıcıları ile gösterilir. Nötr ifade de dahil olmak üzere yedi ifadenin sınıflandırılmasında en iyi performans 87.1 % ile Destek Vektör Makineleri kullanılarak elde edilir. Bu çalışmada elde edilen sonuçlar insanın yüz ifadesi tanımadaki yetkinlik oranı olan 87-91.7 % aralığına yakın olup literatürde yer alan çalışmaların başarıları ile kıyaslanabilir durumdadır.en_US
dc.description.sponsorshipThis research is part of project “Expression Recognition based on Facial Anatomy”, grant number 109E061, supported by The Support Programme for Scientific and Technological Research Projects of The Scientific and Technological Research Council of Turkey (TÜBİTAK).en_US
dc.description.tableofcontentsFACS Action Units as Featuresen_US
dc.description.tableofcontentsLimitations of FACS AUsen_US
dc.description.tableofcontentsMotivation for Muscle Based Featuresen_US
dc.description.tableofcontentsProblem Statement and Overview of the Systemen_US
dc.description.tableofcontentsOrganization of the Dissertationen_US
dc.description.tableofcontentsOverview of Facial Expression Recognitionen_US
dc.description.tableofcontentsFacial Expressions and Their Characteristicsen_US
dc.description.tableofcontentsFacial Expression Recognitionen_US
dc.description.tableofcontentsFace Databasesen_US
dc.description.tableofcontentsFace Detectionen_US
dc.description.tableofcontentsFeature Extraction and Trackingen_US
dc.description.tableofcontentsFacial Expression Classificationen_US
dc.description.tableofcontentsFace Modelen_US
dc.description.tableofcontentsFacial Anatomyen_US
dc.description.tableofcontentsTypes of Face Modelsen_US
dc.description.tableofcontentsHigh resolution Generic Model – HIGEMen_US
dc.description.tableofcontentsPlacement of Musclesen_US
dc.description.tableofcontentsMuscle Modelen_US
dc.description.tableofcontentsWireframe Customizationen_US
dc.description.tableofcontentsRay Tracingen_US
dc.description.tableofcontentsManual Fitting of the Wireframe Model to the Subject’s Faceen_US
dc.description.tableofcontentsSemi-Automatic Fitting of the Wireframe Model to the Subject’s Faceen_US
dc.description.tableofcontentsSelection of Facial Landmarksen_US
dc.description.tableofcontentsWireframe Customization through Ray Tracingen_US
dc.description.tableofcontentsWireframe Alignmenten_US
dc.description.tableofcontentsNearest Neighbors Weighted Average Customization (NNWA)en_US
dc.description.tableofcontentsCustomization Experiments and Resultsen_US
dc.description.tableofcontentsEvaluating the Performance of Customizationen_US
dc.description.tableofcontentsIdentifying the Landmark Verticesen_US
dc.description.tableofcontentsNNWA Customization Resultsen_US
dc.description.tableofcontentsProcrustes Analysis Resultsen_US
dc.description.tableofcontentsActive Shape Model (ASM) Resultsen_US
dc.description.tableofcontentsTracking Rigid Body Motionen_US
dc.description.tableofcontentsOptical Flowen_US
dc.description.tableofcontentsLost Features Problemen_US
dc.description.tableofcontentsEstimating head orientationen_US
dc.description.tableofcontentsEstimating Deformationsen_US
dc.description.tableofcontentsSolving muscle forcesen_US
dc.description.tableofcontentsLeast Squares Solutionen_US
dc.description.tableofcontentsExperiments and Resultsen_US
dc.description.tableofcontentsDatabase Descriptionen_US
dc.description.tableofcontentsIdentified Muscle Forcesen_US
dc.description.tableofcontentsClassification of Seven Basic Expressionsen_US
dc.description.tableofcontentsLinear Discriminant Analysis (LDA)en_US
dc.description.tableofcontentsNaive Bayes (NB)en_US
dc.description.tableofcontentsk-Nearest Neighbor (kNN)en_US
dc.description.tableofcontentsMulti–class Support Vector Machine (Multi–class SVM)en_US
dc.description.tableofcontentsDiscussionen_US
dc.identifier.citationBenli, K. S. (2013). Facial expression recognition based on facial anatomy. İstanbul: Işık Üniversitesi Fen Bilimleri Enstitüsüen_US
dc.identifier.urihttps://hdl.handle.net/11729/1011
dc.institutionauthorBenli, Kristin Surpuhien_US
dc.language.isoenen_US
dc.publisherIşık Üniversitesien_US
dc.relation.publicationcategoryTezen_US
dc.rightsinfo:eu-repo/semantics/openAccessen_US
dc.subject.lccTA1650 .B36 2013
dc.subject.lcshHuman face recognition (Computer science)en_US
dc.subject.lcshFacial expressionen_US
dc.titleFacial expression recognition based on facial anatomyen_US
dc.title.alternativeYüz anatomisine dayalı ifade tanımaen_US
dc.typeDoctoral Thesisen_US
dspace.entity.typePublication

Dosyalar

Orijinal paket
Listeleniyor 1 - 1 / 1
Küçük Resim
İsim:
Kristin_Surpuhi_Benli.pdf
Boyut:
20.54 MB
Biçim:
Adobe Portable Document Format
Açıklama:
DoctoralThesis
İndir
Lisans paketi
Listeleniyor 1 - 1 / 1
Küçük Resim Yok
İsim:
license.txt
Boyut:
1.71 KB
Biçim:
Item-specific license agreed upon to submission
Açıklama:
İndir

Koleksiyon

Lisansüstü Eğitim Enstitüsü Tez Koleksiyonu