5 sonuçlar
Arama Sonuçları
Listeleniyor 1 - 5 / 5
Yayın TURSpider: a Turkish Text-to-SQL dataset and LLM-based study(Institute of Electrical and Electronics Engineers Inc., 2024-11-25) Kanburoğlu, Ali Buğra; Tek, Faik BorayThis paper introduces TURSpider, a novel Turkish Text-to-SQL dataset developed through human translation of the widely used Spider dataset, aimed at addressing the current lack of complex, cross-domain SQL datasets for the Turkish language. TURSpider incorporates a wide range of query difficulties, including nested queries, to create a comprehensive benchmark for Turkish Text-to-SQL tasks. The dataset enables cross-language comparison and significantly enhances the training and evaluation of large language models (LLMs) in generating SQL queries from Turkish natural language inputs. We fine-tuned several Turkish-supported LLMs on TURSpider and evaluated their performance in comparison to state-of-the-art models like GPT-3.5 Turbo and GPT-4. Our results show that fine-tuned Turkish LLMs demonstrate competitive performance, with one model even surpassing GPT-based models on execution accuracy. We also apply the Chain-of-Feedback (CoF) methodology to further improve model performance, demonstrating its effectiveness across multiple LLMs. This work provides a valuable resource for Turkish NLP and addresses specific challenges in developing accurate Text-to-SQL models for low-resource languages.Yayın Assessing ChatGPT's accuracy in dyslexia inquiry(Institute of Electrical and Electronics Engineers Inc., 2024) Eroğlu, Günet; Harb, Mhd Raja AbouDyslexia poses challenges in accessing reliable information, crucial for affected individuals and their families. Leveraging chatbot technology offers promise in this regard. This study evaluates the OpenAI Assistant's precision in addressing dyslexia-related inquiries. Three hundred questions commonly posed by parents were categorized and presented to the Assistant. Expert evaluation of responses, graded on accuracy and completeness, yielded consistently high scores (median=5). Descriptive questions scored higher (average=4.9568) than yes/no questions (average=4.8957), indicating potential response challenges. Statistical analysis highlighted the significance of question specificity in response quality. Despite occasional difficulties, the Assistant demonstrated adaptability and reliability in providing accurate dyslexia-related information.Yayın Text-to-SQL: a methodical review of challenges and models(TÜBİTAK, 2024-05-20) Kanburoğlu, Ali Buğra; Tek, Faik BorayThis survey focuses on Text-to-SQL, automated translation of natural language queries into SQL queries. Initially, we describe the problem and its main challenges. Then, by following the PRISMA systematic review methodology, we survey the existing Text-to-SQL review papers in the literature. We apply the same method to extract proposed Text-to-SQL models and classify them with respect to used evaluation metrics and benchmarks. We highlight the accuracies achieved by various models on Text-to-SQL datasets and discuss execution-guided evaluation strategies. We present insights into model training times and implementations of different models. We also explore the availability of Text-to-SQL datasets in non-English languages. Additionally, we focus on large language model (LLM) based approaches for the Text-to-SQL task, where we examine LLM-based studies in the literature and subsequently evaluate the LLMs on the cross-domain Spider dataset. Finally, we conclude with a discussion of future directions for Text-to-SQL research, identifying potential areas of improvement and advancements in this field.Yayın LLM’leri kullanarak otel incelemelerini görüntü manipülasyonu ile görselleştirme(Institute of Electrical and Electronics Engineers Inc., 2025-08-15) Özdemir, Ata Onur; Giritli, Efe Batur; Can, Yekta SaidDijital çağda müşteri yorumları, özellikle otelcilik sektöründe, karar verme sürecinde önemli bir rol oynamaktadır. Metin tabanlı yorumlar değerli bilgiler sunsa da, potansiyel müşteriler genellikle öznel ifadeleri doğru şekilde yorumlamakta zorlanmaktadır. Araştırmalar, görsel temsillerin anlaşılırlığı artırdığını ve kullanıcı etkileşimini güçlendirdiğini göstermektedir. Bu çalışma, metin tabanlı görüntü manipülasyonu ile yazılı otel yorumlarını orijinal otel görselleri üzerinde değişiklikler yaparak görsel incelemelere dönüştürmeyi amaçlamaktadır. Stable Diffusion modeli kullanılarak yazılı otel yorumları girdileriyle otel odası görüntüleri manipüle edilmiştir. Manipüle edilen görsellerin değerlendirilmesinde SSIM (Structural Similarity Index Measure) ve PSNR (Peak Signal-to-Noise Ratio) metrikleri uygulanmıştır. Ayrıca, manipüle edilmiş ve orijinal görüntü örnekleri karşılaştırmalı olarak sunulmuştur. Sonuçlar, modelin küçük ölçekli değişikliklerde başarılı olduğunu, ancak büyük değişikliklerde kalite kaybı yaşadığını göstermektedir.Yayın Büyük dil modelleri için TR-MMLU benchmark’ı: performans değerlendirmesi, zorluklar ve iyileştirme fırsatları(Institute of Electrical and Electronics Engineers Inc., 2025-08-15) Bayram, M. Ali; Fincan, Ali Arda; Gümüş, Ahmet Semih; Diri, Banu; Yıldırım, Savaş; Aytaş, ÖnerDil modelleri, insan dilini anlama ve üretme konularında önemli ilerlemeler kaydetmiş, birçok uygulamada dikkat çekici başarılar elde etmiştir. Ancak, özellikle Türkçe gibi kaynak açısından sınırlı dillere yönelik değerlendirme çalışmaları önemli ˘bir zorluk oluşturmaktadır. Bu sorunu ele almak amacıyla, büyük dil modellerinin (LLM) Türkçe dilindeki dilsel ve kavramsal yeteneklerini değerlendirmek için kapsamlı bir değerlendirme çerçevesi olan Türkçe MMLU (TR-MMLU) benchmark’ını tanıttık. TR-MMLU, Türk eğitim sisteminden 62 bölümdeki 6.200 çoktan seçmeli soruyu içeren, özenle hazırlanmış bir veri setine dayanmaktadır. Bu benchmark, Türkçe doğal dil işleme (NLP) araştırmalarına standart bir çerçeve sunmakta ve büyük dil modellerinin Türkçe metinleri işleme yeteneklerini detaylı bir şekilde analiz etmeyi sağlamaktadır. Çalışmamızda, TR-MMLU üzerinde en güncel büyük dil modellerini değerlendirdik ve model tasarımında iyileştirme gerektiren alanları vurguladık. TRMMLU, Türkçe NLP araştırmalarını ilerletmek ve gelecekteki yeniliklere ilham vermek için yeni bir standart oluşturmaktadır.
