TURSpider veri kümesinde Temsilcilerin Karışımı Tabanlı Text-to-SQL çalışması

Bu çalışma, Türkçe Text-to-SQL için geliştirilen TURSpider veri kümesi üzerindeki deneyleri ele almaktadır. TURSpider, çeşitli zorluk seviyelerine sahip SQL sorgularını içeren geniş kapsamlı bir Türkçe veri kümesidir ve bu alandaki araştırmalar için önemli bir kaynak niteliğindedir. Çalışmada, geri bildirim odaklı temsilcilerin karışımı yaklaşımının (ing. feedback driven Mixture-of-Agents - MoAF) başarımı incelenmiştir. MoAF yapısında, birden fazla büyük dil modeli (BDM) iş birligi içinde çalışarak SQL oluşturma başarımını artırmayı hedeflemektedir. Bu yapıda temsilci (ing. agent) işbirliği, modellerin birbirinden ögrenmesini ve geri bildirim mekanizmaları aracılığıyla hataların düzeltilmesini sağlamaktadır. Deney sonuçlarına göre, MoAF yaklaşımı ile %60.63 yürütme doğruluğuna ulaşılmış ve TURSpider veri kümesi üzerindeki en iyi sonuç elde edilmiştir.

This study focuses on experiments conducted on the TURSpider dataset, developed for the Turkish Text-to-SQL task. TURSpider is a large-scale Turkish dataset containing SQL queries of varying difficulty levels and serves as a valuable resource for research in this field. The study investigates the effectiveness of the feedback-driven Mixture-of-Agents (MoAF) approach on this task. In the MoAF structure, multiple large language models (LLMs) collaborate to improve SQL generation performance. In this setup, agent collaboration enables models to learn from each other and correct errors through feedback mechanisms. According to the experimental results, the MoAF approach achieved an execution accuracy of 60.63%, achieving the highest performance reported on the TURSpider dataset.