Large language model based automated translation of natural language to SQL

Basit Öğe Kaydı
dc.authorid0000-0003-9031-1485
dc.contributor.advisorTek, Faik Borayen_US
dc.contributor.authorKanburoğlu, Ali Buğraen_US
dc.contributor.otherIşık Üniversitesi, Lisansüstü Eğitim Enstitüsü, Bilgisayar Mühendisliği Doktora Programıen_US
dc.contributor.otherIşık University, School of Graduate Studies, Ph.D. in Computer Engineeringen_US
dc.date.accessioned2025-05-29T08:21:59Z
dc.date.available2025-05-29T08:21:59Z
dc.date.issued2025-01-22
dc.departmentIşık Üniversitesi, Lisansüstü Eğitim Enstitüsü, Bilgisayar Mühendisliği Doktora Programıen_US
dc.departmentIşık University, School of Graduate Studies, Ph.D. in Computer Engineeringen_US
dc.descriptionText in English ; Abstract: Turkish and Englishen_US
dc.descriptionIncludes bibliographical references (leaves 66-75)en_US
dc.descriptionxiii, 76 leavesen_US
dc.description.abstractThe field of Text-to-SQL, which involves converting natural language into SQL queries, has seen significant advancements, but challenges remain, particularly for low-resource languages like Turkish. This thesis introduces three key contributions to address these challenges. Our first contribution is the development and open-access release of TUR2SQL, the first cross-domain Turkish Text-to-SQL dataset, which consists of 10,809 natural language sentences paired with their corresponding SQL queries. We evaluate the performance of SQLNet, a deep learning model specifically designed for this task, and one of the most successful Large Language Models (LLMs), ChatGPT, on this dataset. The results demonstrate the superior performance of ChatGPT. The second major contribution is the construction and publicly available release of TURSpider, the most extensive Turkish Text-to-SQL dataset. TURSpider is built by translating the widely used cross-domain Spider dataset from English to Turkish. This dataset includes complex queries with varying difficulty levels, facilitating the training and comparison of large language models for Turkish Text-to-SQL tasks. Our comparative analysis shows that fine-tuned Turkish LLMs achieve competitive performance, with some models surpassing OpenAI models in query accuracy. To further enhance performance, we apply the Chainof-Feedback (CoF) methodology, demonstrating its effectiveness across multiple models. Finally, we explore the Mixture-of-Agents (MoA) framework, which combines outputs from multiple models to improve the performance of open-source LLMs for Text-to-SQL tasks. By integrating MoA with the CoF technique, we propose MoAF-SQL, an approach that significantly improves performance, particularly on complex queries. Our experiments show that MoAF-SQL achieves competitive results, highlighting its potential to enhance the Text-to-SQL capabilities of open-source LLMs.en_US
dc.description.abstractDoğal dilin SQL sorgularına dönüştürülmesi, son yıllarda önemli ilerlemeler kaydetmiş bir alandır, ancak Türkçe gibi kaynakları sınırlı dillerde hala bazı zorluklar bulunmaktadır. Bu tez, bu zorluklara çözüm getirmek amacıyla üç önemli katkı sunmaktadır. İlk katkımız, 10.809 doğal dil cümlesi ve karşılık gelen SQL sorgusundan oluşan, ilk çok alanlı Türkçe Text-to-SQL veri kümesi olan TUR2SQL'in geliştirilmesi ve açık erişimle araştırmacıların kullanımına sunulmasıdır. Bu veri kümesi üzerinde probleme özgü geliştirilmiş bir derin öğrenme yöntemi olan SQLNet ve en başarılı büyük dil modellerinden (BDM) biri olan ChatGPT modellerinin başarımı karşılaştırılmıştır. Sonuçlar ChatGPT'nin üstün performansını göstermektedir. İkinci temel katkımız, İngilizce’den SQL’e çeviri çalışmalarında sıklıkla kullanılan, çok alanlı geniş Spider veri kümesinin çevrilerek en geniş kapsamlı Türkçe Text-to-SQL veri kümesi TURSpider'ın oluşturulması ve yine açık erişimle paylaşılmasıdır. TURSpider, karmaşık sorgular ve farklı zorluk seviyeleri içermektedir. Türkçe Text-to-SQL görevleri için büyük dil modellerinin (BDM) eğitimini ve karşılaştırmasını kolaylaştırmaktadır. Yaptığımız karşılaştırmalı incelemede, ince-ayar uygulanmış Türkçe BDM'lerin, rekabetçi bir performans sergilediğini ve bazı modellerin, sorgu doğruluğu açısından OpenAI modellerini geride bıraktığını göstermektedir. Performansı daha da iyileştirmek amacıyla, CoF (Chain-of-Feedback, Geri Bildirim Zinciri) metodolojisi uygulanmış ve bunun birden fazla modeldeki etkinliği gösterilmiştir. Son olarak, Text-to-SQL görevleri için açık kaynaklı BDM'lerin performansını artırmayı amaçlayan, birden fazla modelin çıktısını birleştiren MoA (Mixture-of-Agents, Temsilcilerin Karışımı) çerçevesini keşfediyoruz. MoA ve CoF tekniklerini birleştirerek geliştirdiğimiz MoAF-SQL yaklaşımımızın, özellikle karmaşık sorgularda önemli iyileştirmeler sağladığı gösterilmiştir. Deneylerimiz, MoAFSQL'in rekabetçi sonuçlar elde ettiğini ve açık kaynaklı BDM'lerin Text-to-SQL başarımını artırma potansiyelini göstermektedir.en_US
dc.identifier.citationKanburoğlu, A. B. (2025). Large language model based automated translation of natural language to SQL. İstanbul: Işık Üniversitesi Lisansüstü Eğitim Enstitüsü.en_US
dc.identifier.urihttps://hdl.handle.net/11729/6412
dc.identifier.yoktezid927714
dc.institutionauthorKanburoğlu, Ali Buğraen_US
dc.institutionauthorid0000-0003-9031-1485
dc.language.isoenen_US
dc.publisherIşık Üniversitesi, Lisansüstü Eğitim Enstitüsüen_US
dc.relation.publicationcategoryTezen_US
dc.rightsinfo:eu-repo/semantics/openAccess
dc.subjectText-to-SQLen_US
dc.subjectLLMen_US
dc.subjectTUR2SQLen_US
dc.subjectTURSpideren_US
dc.subjectMoAen_US
dc.subjectBDMen_US
dc.subject.lccQA76.73.S67 K36 2025
dc.subject.lcshSQL (Computer program language).en_US
dc.titleLarge language model based automated translation of natural language to SQLen_US
dc.title.alternativeBüyük dil modeli tabanlı doğal dilden SQL’e otomatik çevirien_US
dc.typeDoctoral Thesisen_US
dspace.entity.typePublicationen_US

Dosyalar

Orijinal paket
Listeleniyor 1 - 1 / 1
Küçük Resim
İsim:
Large_language_model_based_automated_translation_of_natural_language_to_SQL.pdf
Boyut:
1.86 MB
Biçim:
Adobe Portable Document Format
İndir
Lisans paketi
Listeleniyor 1 - 1 / 1
Küçük Resim Yok
İsim:
license.txt
Boyut:
1.17 KB
Biçim:
Item-specific license agreed upon to submission
Açıklama:
İndir

Koleksiyon

Lisansüstü Eğitim Enstitüsü Tez Koleksiyonu