KeNet: a comprehensive Turkish wordNet and its applications in text clustering

Basit Öğe Kaydı
dc.contributor.advisorYıldız, Olcay Taneren_US
dc.contributor.authorEhsani, Raziehen_US
dc.contributor.otherIşık Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Doktora Programıen_US
dc.date.accessioned2018-11-23T03:02:57Z
dc.date.available2018-11-23T03:02:57Z
dc.date.issued2018-06-07
dc.departmentIşık Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Doktora Programıen_US
dc.descriptionText in English ; Abstract: English and Turkishen_US
dc.descriptionIncludes bibliographical references (leaves 72-80)en_US
dc.descriptionxiv, 80 leavesen_US
dc.description.abstractIn this thesis, we summarize the methodology and the results of our e?orts to construct a comprehensive WordNet for Turkish. Most languages have access to comprehensive language resources. Traditional resources like bilingual dictionaries, monolingual dictionaries, thesauri and lexicons are developed by lexicographers. As computer processing of languages gain popularity, a new set of resources become necessary. One such resource is WordNet which was initially constructed for English language in Princeton University. A WordNet contains much of the information contained in a classic dictionary, but it also contains additional relationship information. These relations go beyond synonym relation and give information about relations such as a word being“is-a” or “is-a-part-of” another. These semantic relations are used in many text analysis tasks. A WordNet also categorizes words under common concepts. These concepts are called as synsets. As a result of all these, WordNet is a comprehensive dictionary which is readable by the computers and a useful language resource for text analysis and other research based on human language. In Turkish language, our WordNet is not the ?rst. The previous WordNet is part of BalkaNet project which is a multilingual WordNet including Turkish and Balkan languages. BalkaNet contains only common words between these languages, as such BalkaNet does not contain all Turkish words and su?ers from top-down constructing method disadvantages. BalkaNet project has not been updated or expanded in recent years. In this work we construct a Turkish WordNet from scratch using a bottom-up method. In general there are two methods for constructing WordNets. Bottomup method means that we create the WordNet from scratch while top-down approach uses other WordNets by translating them. We use Turkish Contemporary Dictionary (CDT) which is an online Turkish dictionary provided by Turkish Language Institute. Bottom-up approach has its own di?culties, since constructing a WordNet from scratch requires more resources and a lot of e?ort. In this work, we extract synonyms from CDT and ask experts to match common meanings for pairs of synonyms. We developed an application which makes annotation step easier and more accurate. We also use two groups of annotators to measure inter-annotator agreement. We used some automatic approaches to extract semantic relations from Turkish Wikipedia (Vikipedi) and Vikisözlük. We processed CDT to extract candidate synonyms and used rule based approaches to ?nd synonym sets. There is no thesaurus for Turkish, so as an application we construct a thesaurus automatically and measured accuracy with our manually constructed synsets. We named our WordNet “KeNet”. Finally, in this thesis we developed a novel approach to represent a text document in a vector space. This approach uses WordNet semantic relations. This part of thesis is an application of KeNet. We used our approach to represent text documents and implemented two di?erent clustering algorithms over these vectors. We tested our method over Turkish Wikipedia articles, domains of which are labeled by Wikipedia.en_US
dc.description.abstractBu tez, kapsamlı bir Türkçe WordNet yapımının aşamalarını, zorluklarını ve son olarak da onu bir doğal işleme alanında uygulamasını özetliyor. Her dilin kendine özel dil kaynakları vardır, örneğin tek dilli sözlükler, iki dilli sözlükler, lugatnameler klasik dil kaynaklarıdırlar ve dilbilimciler tarafından geliştirirlirler. Bu kaynaklar genellikle bir dil kurumu tarafından desteklenir ve denetlenir. Günümüz bilgisayarların hayatımızın her alanına girmesi ile birlikte, dil kaynaklarının da bilgisayarlar tarafından okunabilirliği ve bilgisayar uygulamalarında kullanılabilmeleri için geliştirilmeleri bir gereksinim haline gelmiştir. Bu bilgisayar tarafından okunabilir kaynaklardan biri WordNettir, WordNet ilk kez İngilizce için Princeton Üniversitesinde geliştirilmiştir. WordNet klasik sözlüklerin özelliklerini taşımakla birlikte kelimeler arasında bazı anlamsal ilişkileri de içerir. Bu anlamsal ilişkiler eş anlamlılıktan öte, bir kelime diğerinin bir türüdür, veya bir kelime diğer kelimenin bir parçasıdır gibi anlamsal ilişkileri de içerir. Bu anlamsal ilişkiler yazı analizlerinde kullanılmaktadır. WordNet kelimeleri gerçek dünyadaki kavramlarına göre tek bir kümede toplar, bu kümelere synset denir. Sonuç olarak WordNet, kapsamlı ve bilgisayar tarafından okunabilir bir dil kaynağıdır ve yazı analizlerinde oldukça faydalı bir kaynaktır. Türkçe için bizim çalışmamızdan önce kapsamlı olmayan bir WordNet geliştirilmiş. Bu WordNet, BalkaNet projesinin adı altında geliştirilmiştir. BalkaNet çokdilli bir WordNettir ve Balkan dilleri ve Türkçeyi içermektedir. BalkaNet aşamalar sırasında geliştirilmiş ve anlamsal ilişkiler eklenmiştir, fakat son yıllarda herhangi bir güncelleme yapılmamıştır. Bu çalışma, sıfırdan Türkçe için bir WordNet yapımını anlatmaktadır. Genel olarak, WordNet yapımı için iki yöntem vardır, aşağı-yukarı yöntem ve yukarıdana¸sağı yöntem. aşağı-yukarı yöntem herhangi başka bir WordNeti çevirmeden veya kullanmadan sıfırdan ve sözlük kullanarak WordNet yapımıyla uğraşır, yukarıaşağı yöntemde ise, sıfırdan yapmak yerine başka dillerde mevcut olan WordNetleri birebir çevirerek ve dahasında geliştirerek veyahut değiştirmeyerek WordNet yapımıyla uğra¸sır. Bizim C¸alışmamız Türk Dil Kurumunun Güncel Türkçe Sözlüğünü kullanarak aşağı-yukarı yöntem ile WordNet yapımıdır. Bu çalışma sırasında, TDK sözlüğünden eşanlamlı kelimeleri çıkartıp ve bir grup insana bu kelimelerin ortaklaşa paylaştıkları anlamları işaretlemelerini istedik. Bu işaretleme için geliştirdiğimiz bir yazılım kullanarak sürecin kolaylaşmasını ve hata payının düşürülmesini sağladık. Ayrıca Türkçe için herhangi bir eşanlamlılar sözlüğü mevcur olmadığı için, Türkçenin ilk eşanlamlılar sözlüğünü otomatik olarak oluşturduk. İşaretleyiciler arasında anlaşmayı ölçüp ve ayrıca otomatik oluşturduğumuz eşanlamlılar sözlüğünü elle işaretlenmiş eşanlamlılar kümelerile ölçtük. Son olarak, bu çalışmada geliştirdiğimiz WordNeti Vikipedi makalelerini kümelemesi için kullandık. Bunun için öncelikle her yazı dosyasını bir vektöre çevirdik ve bunun için kendi özel yöntemimizi kullandık.en_US
dc.description.sponsorshipThis study was supported by The Scientific and Techonological Research Council of Turkey (TÜBİTAK) Grant No:116E104en_US
dc.description.tableofcontentsTurkish languageen_US
dc.description.tableofcontentsWordNeten_US
dc.description.tableofcontentsScope of the Thesisen_US
dc.description.tableofcontentsWordNets in Other Languagesen_US
dc.description.tableofcontentsManual WordNet constructionen_US
dc.description.tableofcontentsLexical resourceen_US
dc.description.tableofcontentsSense granularityen_US
dc.description.tableofcontentsProductive derivationsen_US
dc.description.tableofcontentsProcessing the Dictionaryen_US
dc.description.tableofcontentsSynonym candidatesen_US
dc.description.tableofcontentsHandling MWEsen_US
dc.description.tableofcontentsManual Annotationen_US
dc.description.tableofcontentsSpecial Casesen_US
dc.description.tableofcontentsInter-annotator agreementen_US
dc.description.tableofcontentsSynset constructionen_US
dc.description.tableofcontentsSynset statisticsen_US
dc.description.tableofcontentsSemantic relationsen_US
dc.description.tableofcontentsAntonymsen_US
dc.description.tableofcontentsHypernyms and hyponymsen_US
dc.description.tableofcontentsHypernym-hyponym in CDTen_US
dc.description.tableofcontentsHypernym-hyponym in Vikipedi and Vikisözlüken_US
dc.description.tableofcontentsDomainen_US
dc.description.tableofcontentsAutomatic WordNet Constructionen_US
dc.description.tableofcontentsAutomatic thesaurusen_US
dc.description.tableofcontentsComparison of Synsetsen_US
dc.description.tableofcontentsRelated work on clustering texten_US
dc.description.tableofcontentsSemantic Similarityen_US
dc.description.tableofcontentsTopological similarityen_US
dc.description.tableofcontentsStatistical similarityen_US
dc.description.tableofcontentsContent based clusteringen_US
dc.description.tableofcontentsTextual graphen_US
dc.description.tableofcontentsPreprocessing dataen_US
dc.description.tableofcontentsMorphological analyzeen_US
dc.description.tableofcontentsMorphological disambiguationen_US
dc.description.tableofcontentsConvert words to the dictionary entriesen_US
dc.description.tableofcontentsGetting rid of redundant wordsen_US
dc.description.tableofcontentsConstructing textual graphen_US
dc.description.tableofcontentsRepresenting texten_US
dc.description.tableofcontentsDisambiguating synsetsen_US
dc.description.tableofcontentsRepresentatives for synsetsen_US
dc.description.tableofcontentsCo-occurrence graphen_US
dc.description.tableofcontentsTextual graph analysisen_US
dc.description.tableofcontentsJaccard Similarityen_US
dc.description.tableofcontentsGeneralized Jaccard similarityen_US
dc.description.tableofcontentsPageRanken_US
dc.description.tableofcontentsExperimental results for clustering headlinesen_US
dc.description.tableofcontentsPage2Vec algorithmen_US
dc.description.tableofcontentsExperimental Resultsen_US
dc.description.tableofcontentsK-means clusteringen_US
dc.description.tableofcontentsHierarchical clusteringen_US
dc.identifier.citationEhsani, R. (2018). KeNet: a comprehensive Turkish wordNet and its applications in text clustering. İstanbul: Işık Üniversitesi Fen Bilimleri Enstitüsü.en_US
dc.identifier.urihttps://hdl.handle.net/11729/1392
dc.institutionauthorEhsani, Raziehen_US
dc.language.isoenen_US
dc.publisherIşık Üniversitesien_US
dc.relation.publicationcategoryTezen_US
dc.rightsinfo:eu-repo/semantics/openAccessen_US
dc.subjectGraph-baseden_US
dc.subjectNLPen_US
dc.subjectSemanticen_US
dc.subjectSenseen_US
dc.subjectText analysisen_US
dc.subjectText clusteringen_US
dc.subjectTurkish NLPen_US
dc.subjectWordNeten_US
dc.subjectAnlamen_US
dc.subjectDilen_US
dc.subjectGraph tabanlı çözümlemeen_US
dc.subjectMetin ayrıştırmaen_US
dc.subjectTürkçeen_US
dc.subjectTürkçe doğal dil işlemeen_US
dc.subjectYazı çözümlemeen_US
dc.subject.lccP98.45.T9 E37 2018
dc.subject.lcshComputational linguistics -- Turkeyen_US
dc.subject.lcshText processing (Computer science)en_US
dc.titleKeNet: a comprehensive Turkish wordNet and its applications in text clusteringen_US
dc.title.alternativeKeNet: kapsamlı Türkçe wordnet ve metin kümelemede kullanılmasıen_US
dc.typeDoctoral Thesisen_US
dspace.entity.typePublication

Dosyalar

Orijinal paket
Listeleniyor 1 - 1 / 1
Küçük Resim
İsim:
Razieh_Ehsani.pdf
Boyut:
2.01 MB
Biçim:
Adobe Portable Document Format
Açıklama:
DoctoralThesis
İndir
Lisans paketi
Listeleniyor 1 - 1 / 1
Küçük Resim Yok
İsim:
license.txt
Boyut:
1.71 KB
Biçim:
Item-specific license agreed upon to submission
Açıklama:
İndir

Koleksiyon

Lisansüstü Eğitim Enstitüsü Tez Koleksiyonu