Semantic relation extraction by enriching word embeddings exploiting Turkish morphology

Distributed representations (DR) are used to capture semantic and syntactic patterns in language by analyzing the distributional relationships of words within textual data. The modeling methods that produce DR are based on the assumption (distributional hypothesis) that "words that occur in the same context tend to have similar meanings," which is inherent to the nature of language. These modeling methods, due to their unsupervised nature, can be trained without human judgment input, allowing researchers to train large datasets at relatively low costs. Although word-based models perform effectively for languages with limited vocabularies, such as English, they exhibit considerable inefficiency when applied to morphologically rich languages with unlimited vocabularies, such as Turkish. We observed that n-gram and statistical segmentation methods, which are commonly used in subword modeling to address the issues of out-of-vocabulary and rare-words, are highly sensitive to orthographic similarity. Consequently, these methods struggle to distinguish between unrelated concepts (e.g., shrink - shrine). Moreover, we noted that the impact of morphological segmentation methods on these types of problems has shown inconsistent results in the literature. This thesis aims to make conceptual assumptions and improvements concerning different types of semantic relationships (e.g., relatedness and similarity), to model the role of language morphology as an input in subword DR models, and to develop the dataset generation methodologies and evaluation methods to measure this effect. Within the scope of the study, different models and segmentation methods were empirically tested, the AnlamVer and OSimUnr datasets were produced, and the task of relatedness classification and associated evaluation methods were proposed to measure the noise introduced by segmentation to the model. Our experiments demonstrate that morphological segmentation produces significantly less noise compared to n-gram-based methods and can lead to substantial performance improvements depending on the nature of the task.

Dağıtık kelime gösterimleri (DG), metinsel veri içindeki kelime dağılım ilişkilerinin analiz edilmesiyle dildeki anlamsal ve sözdizimsel düzenlerin yakalanması için kullanılır. DG üreten modelleme yöntemleri, dilin doğasından gelen “aynı bağlam içerisinde yer alan kelimeler, birbirlerine yakın anlamlara sahip olma eğilimi gösterir" varsayımına (dağılımsal hipotez) dayanmaktadır. Bu modelleme yöntemleri, gözetimsiz doğaları sayesinde insan yargı girdisi olmaksızın eğitilebilmekte, bu da araştırmacıların görece düşük maliyetlerle büyük veri kümelerini eğitebilmelerine olanak sağlamaktadır. Kelime-bazlı modeller İngilizce gibi sınırlı dağarcığa sahip dillerde iyi çalışmakla birlikte Türkçe gibi morfolojik açıdan zengin, sınırsız dağarcığa sahip dillerde oldukça verimsizdir. Dağarcık-dışı-kelimeler ve az-geçen-kelimeler problemlerine çözüm sunan kelime-altı modellemede yaygın olarak kullanılan n-gram ve istatistiksel ayrıştırma yöntemlerinin ortografik benzerliğe karşı hassas olduğu, dolayısıyla ilişkisiz kavramları (enişte - erişte) birbirinden ayıramadığını tespit ettik. Morfolojik ayrıştırma yönteminin ise bu tür problemlere etkisinin literatürde tutarsız sonuçlar gösterdiği saptanmıştır. Bu tez farklı anlam ilişkisi türleri (ilişkisellik ve benzerlik vb.) üzerine kavramsal varsayım ve geliştirmeler yapmayı, dil morfolojisini girdi olarak modellemenin kelime-altı DG modelleri üzerindeki rolünü ve bu etkiyi ölçebilmek için gerekli olan veri kümesi üretme metodolojilerini ve değerlendirme yöntemlerini geliştirmeyi amaçlamaktadır. Çalışma kapsamında farklı model ve ayrıştırma yöntemleri ampirik olarak denenmiş, AnlamVer ve OSimUnr kelime çifti veri kümeleri üretilmiş, ve ayrıştırmanın modele eklediği gürültüyü ölçebilmek için ilişkisellik sınıflandırma görevi ve ilgili ölçme yöntemleri önerilmiştir. Deneylerimiz, morfolojik ayrıştırmanın n-gram bazlı yöntemlere oranla çok daha az gürültü ürettiğini ve görevin doğasına bağlı olarak ciddi bir performans artışı sağlayabileceğini göstermektedir.