Unsupervised morphological analysis using tries
| dc.contributor.advisor | Yıldız, Olcay Taner | en_US |
| dc.contributor.author | Ak, Koray | en_US |
| dc.contributor.other | Işık Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Yüksek Lisans Programı | en_US |
| dc.date.accessioned | 2016-06-02T11:00:08Z | |
| dc.date.available | 2016-06-02T11:00:08Z | |
| dc.date.issued | 2011-04-29 | |
| dc.department | Işık Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Yüksek Lisans Programı | en_US |
| dc.description | Text in English ; Abstract: English and Turkish | en_US |
| dc.description | Includes bibliographical references (leaves 36-39) | en_US |
| dc.description | viii, 40 leaves | en_US |
| dc.description.abstract | Morphological analysis or decomposition studies the structure, formation, function of words, identifies the morphemes (smallest meaning-bearing elements) of the language and attempts to formulate rules that model the language. It is widely used in different areas such as speech recognition, machine translation, information retrieval, text understanding, and statistical language modeling. Considering that the natural language processing applications are dealing with large amounts of data, it is not feasible to use linguists to analyze text corpus by hand, the complexity and real time Processing requirements leads to automated morphological analysis. As an alternative to the hand-made systems, there exist algorithms that work unsupervised manner and autonomously do morphological analysis for the words in an unannotated text corpus. In this thesis, an unsupervised leaming algorithm is proposed to extract infor-mation about the text corpus and the model of the language. The proposed algorithm constructs a trie that consists of characters and the occurrences of the words as nodes. The algorithm then detects roots of the given words by examining the occurrences in the path of the word. When the root is revealed, the algorithm creates a new trie from the affix parts, left after the root for each word. The algorithm continues recursively until there is no affbc left to process. Experimental results on three languages (Finnish, English and Turkish) show that our novel algorithm performs better than most of the previous algorithms in the field. | en_US |
| dc.description.abstract | Biçimbirim analizi ya da ayrıştırması, kelimelerin yapısını, dizilimini ve fonksiyonlarını inceler, kelimeler içindeki en küçük anlam taşıyan morfemleri belirler ve dilin modelini çıkarmaya çalışır. Konuşma işleme, bilgisayarlı çeviri, bilgi bulgetir, metin anlama ve istatiksel dil modelleme gibi alanlarda kullanılır. Biçimbirim analizi, metin içinde bir çok sözcük formu olduğundan çoğu dil için hem zor hem de gereklidir. Çekimli dillerde aynı köke ait binlerce değişik sözcük formu olabilir, bu da çekimlenmiş sözcük dizilerini oluşturmayı zor kılar. Doğal dil işleme uygulamalarının büyük verilerle çalıştığı düşünülürse bu işin dilbilimciler tarafından el ile yapılması karmaşıklık ve gerçek zamanlı işleme açısından mümkün değildir. Bu nedenle bu işlemin otomatikleşmiş biçimbirim algoritmaları tarafından yapılması gerekmektedir. Bu bağlamda öğreticisiz biçimbirim çözümleyicilerin kullanıldığı sistemlerle işlenmemiş metin bütünceleri işlenebilir. Bu çalışmada metin bütünceleri ve dilin modeli hakkında bilgi çıkarımı yapacak bir gözetimsiz öğrenme algoritması önerilmiştir. Tasarlanan algoritma, metin bütünce- sinde geçen kelimelerden oluşturduğu ağaçlar ile verilen kelimelerin kök ve eklerini kelimelerin geçme sıklığına göre bulmaya çalışmaktadır. Kelimelerin kökleri çıkarıldıktan sonra algoritma geri kalan sözcük kısımları ile ek ağaçları oluşturup özyineli bir şekilde tüm ekleri bulur. Algoritma Fince, İngilizce ve Türkçe dillerinde denenip önceki çalışmaların çoğundan iyi sonuçlar vermiştir. | en_US |
| dc.description.tableofcontents | Morphology | en_US |
| dc.description.tableofcontents | Lexemes and Word Forms | en_US |
| dc.description.tableofcontents | Inflection and Word Formation | en_US |
| dc.description.tableofcontents | Allomorphy | en_US |
| dc.description.tableofcontents | Morphological Approaches | en_US |
| dc.description.tableofcontents | Morpho Challenge | en_US |
| dc.description.tableofcontents | Morpho Challenge 2005 | en_US |
| dc.description.tableofcontents | Morpho Challenge 2007 | en_US |
| dc.description.tableofcontents | Morpho Challenge 2008 | en_US |
| dc.description.tableofcontents | Morpho Challenge 2009 | en_US |
| dc.identifier.citation | Ak, K. (2011). Unsupervised morphological analysis using tries. İstanbul: Işık Üniversitesi Fen Bilimleri Enstitüsü | en_US |
| dc.identifier.uri | https://hdl.handle.net/11729/912 | |
| dc.institutionauthor | Ak, Koray | en_US |
| dc.language.iso | en | en_US |
| dc.publisher | Işık Üniversitesi | en_US |
| dc.relation.publicationcategory | Tez | en_US |
| dc.rights | info:eu-repo/semantics/openAccess | en_US |
| dc.rights | Attribution-NonCommercial-NoDerivs 3.0 United States | * |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/3.0/us/ | * |
| dc.subject.lcc | TK7885.6 .K67 2011 | |
| dc.subject.lcsh | Computer engineering. | en_US |
| dc.title | Unsupervised morphological analysis using tries | en_US |
| dc.title.alternative | Ağaç yapısı kullanarak gözetimsiz biçimbirim analizi | en_US |
| dc.type | Master Thesis | en_US |
| dspace.entity.type | Publication |
