Large language model based automated translation of natural language to SQL
Yükleniyor...
Tarih
2025-01-22
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Işık Üniversitesi, Lisansüstü Eğitim Enstitüsü
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
The field of Text-to-SQL, which involves converting natural language into SQL queries, has seen significant advancements, but challenges remain, particularly for low-resource languages like Turkish. This thesis introduces three key contributions to address these challenges. Our first contribution is the development and open-access release of TUR2SQL, the first cross-domain Turkish Text-to-SQL dataset, which consists of 10,809 natural language sentences paired with their corresponding SQL queries. We evaluate the performance of SQLNet, a deep learning model specifically designed for this task, and one of the most successful Large Language Models (LLMs), ChatGPT, on this dataset. The results demonstrate the superior performance of ChatGPT. The second major contribution is the construction and publicly available release of TURSpider, the most extensive Turkish Text-to-SQL dataset. TURSpider is built by translating the widely used cross-domain Spider dataset from English to Turkish. This dataset includes complex queries with varying difficulty levels, facilitating the training and comparison of large language models for Turkish Text-to-SQL tasks. Our comparative analysis shows that fine-tuned Turkish LLMs achieve competitive performance, with some models surpassing OpenAI models in query accuracy. To further enhance performance, we apply the Chainof-Feedback (CoF) methodology, demonstrating its effectiveness across multiple models. Finally, we explore the Mixture-of-Agents (MoA) framework, which combines outputs from multiple models to improve the performance of open-source LLMs for Text-to-SQL tasks. By integrating MoA with the CoF technique, we propose MoAF-SQL, an approach that significantly improves performance, particularly on complex queries. Our experiments show that MoAF-SQL achieves competitive results, highlighting its potential to enhance the Text-to-SQL capabilities of open-source LLMs.
Doğal dilin SQL sorgularına dönüştürülmesi, son yıllarda önemli ilerlemeler kaydetmiş bir alandır, ancak Türkçe gibi kaynakları sınırlı dillerde hala bazı zorluklar bulunmaktadır. Bu tez, bu zorluklara çözüm getirmek amacıyla üç önemli katkı sunmaktadır. İlk katkımız, 10.809 doğal dil cümlesi ve karşılık gelen SQL sorgusundan oluşan, ilk çok alanlı Türkçe Text-to-SQL veri kümesi olan TUR2SQL'in geliştirilmesi ve açık erişimle araştırmacıların kullanımına sunulmasıdır. Bu veri kümesi üzerinde probleme özgü geliştirilmiş bir derin öğrenme yöntemi olan SQLNet ve en başarılı büyük dil modellerinden (BDM) biri olan ChatGPT modellerinin başarımı karşılaştırılmıştır. Sonuçlar ChatGPT'nin üstün performansını göstermektedir. İkinci temel katkımız, İngilizce’den SQL’e çeviri çalışmalarında sıklıkla kullanılan, çok alanlı geniş Spider veri kümesinin çevrilerek en geniş kapsamlı Türkçe Text-to-SQL veri kümesi TURSpider'ın oluşturulması ve yine açık erişimle paylaşılmasıdır. TURSpider, karmaşık sorgular ve farklı zorluk seviyeleri içermektedir. Türkçe Text-to-SQL görevleri için büyük dil modellerinin (BDM) eğitimini ve karşılaştırmasını kolaylaştırmaktadır. Yaptığımız karşılaştırmalı incelemede, ince-ayar uygulanmış Türkçe BDM'lerin, rekabetçi bir performans sergilediğini ve bazı modellerin, sorgu doğruluğu açısından OpenAI modellerini geride bıraktığını göstermektedir. Performansı daha da iyileştirmek amacıyla, CoF (Chain-of-Feedback, Geri Bildirim Zinciri) metodolojisi uygulanmış ve bunun birden fazla modeldeki etkinliği gösterilmiştir. Son olarak, Text-to-SQL görevleri için açık kaynaklı BDM'lerin performansını artırmayı amaçlayan, birden fazla modelin çıktısını birleştiren MoA (Mixture-of-Agents, Temsilcilerin Karışımı) çerçevesini keşfediyoruz. MoA ve CoF tekniklerini birleştirerek geliştirdiğimiz MoAF-SQL yaklaşımımızın, özellikle karmaşık sorgularda önemli iyileştirmeler sağladığı gösterilmiştir. Deneylerimiz, MoAFSQL'in rekabetçi sonuçlar elde ettiğini ve açık kaynaklı BDM'lerin Text-to-SQL başarımını artırma potansiyelini göstermektedir.
Doğal dilin SQL sorgularına dönüştürülmesi, son yıllarda önemli ilerlemeler kaydetmiş bir alandır, ancak Türkçe gibi kaynakları sınırlı dillerde hala bazı zorluklar bulunmaktadır. Bu tez, bu zorluklara çözüm getirmek amacıyla üç önemli katkı sunmaktadır. İlk katkımız, 10.809 doğal dil cümlesi ve karşılık gelen SQL sorgusundan oluşan, ilk çok alanlı Türkçe Text-to-SQL veri kümesi olan TUR2SQL'in geliştirilmesi ve açık erişimle araştırmacıların kullanımına sunulmasıdır. Bu veri kümesi üzerinde probleme özgü geliştirilmiş bir derin öğrenme yöntemi olan SQLNet ve en başarılı büyük dil modellerinden (BDM) biri olan ChatGPT modellerinin başarımı karşılaştırılmıştır. Sonuçlar ChatGPT'nin üstün performansını göstermektedir. İkinci temel katkımız, İngilizce’den SQL’e çeviri çalışmalarında sıklıkla kullanılan, çok alanlı geniş Spider veri kümesinin çevrilerek en geniş kapsamlı Türkçe Text-to-SQL veri kümesi TURSpider'ın oluşturulması ve yine açık erişimle paylaşılmasıdır. TURSpider, karmaşık sorgular ve farklı zorluk seviyeleri içermektedir. Türkçe Text-to-SQL görevleri için büyük dil modellerinin (BDM) eğitimini ve karşılaştırmasını kolaylaştırmaktadır. Yaptığımız karşılaştırmalı incelemede, ince-ayar uygulanmış Türkçe BDM'lerin, rekabetçi bir performans sergilediğini ve bazı modellerin, sorgu doğruluğu açısından OpenAI modellerini geride bıraktığını göstermektedir. Performansı daha da iyileştirmek amacıyla, CoF (Chain-of-Feedback, Geri Bildirim Zinciri) metodolojisi uygulanmış ve bunun birden fazla modeldeki etkinliği gösterilmiştir. Son olarak, Text-to-SQL görevleri için açık kaynaklı BDM'lerin performansını artırmayı amaçlayan, birden fazla modelin çıktısını birleştiren MoA (Mixture-of-Agents, Temsilcilerin Karışımı) çerçevesini keşfediyoruz. MoA ve CoF tekniklerini birleştirerek geliştirdiğimiz MoAF-SQL yaklaşımımızın, özellikle karmaşık sorgularda önemli iyileştirmeler sağladığı gösterilmiştir. Deneylerimiz, MoAFSQL'in rekabetçi sonuçlar elde ettiğini ve açık kaynaklı BDM'lerin Text-to-SQL başarımını artırma potansiyelini göstermektedir.
Açıklama
Text in English ; Abstract: Turkish and English
Includes bibliographical references (leaves 66-75)
xiii, 76 leaves
Includes bibliographical references (leaves 66-75)
xiii, 76 leaves
Anahtar Kelimeler
Text-to-SQL, LLM, TUR2SQL, TURSpider, MoA, BDM
Kaynak
WoS Q Değeri
Scopus Q Değeri
Cilt
Sayı
Künye
Kanburoğlu, A. B. (2025). Large language model based automated translation of natural language to SQL. İstanbul: Işık Üniversitesi Lisansüstü Eğitim Enstitüsü.
