Extracting meaningful information student surveys with NLP
Yükleniyor...
Tarih
2025-01-29
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Işık Üniversitesi, Lisansüstü Eğitim Enstitüsü
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
This thesis applied NLP techniques to analyze and summarize bilingual student feedback collected via end-of-semester surveys. The dataset, which contained open-ended responses in both English and Turkish, required a model adept at preserving linguistic nuances across languages. The Llama 2-7b-hf model, which had been trained explicitly for text generation, was selected for its capability to produce coherent and contextually relevant summaries. Data preprocessing involved organizing metadata such as department, semester, course name, and section number, segregating comments by word count, and removing personal identifiers to ensure privacy. Shorter comments (fewer than ten words) were grouped and summarized using a pipeline from the Transformers library, while longer comments were fine-tuned with metadataspecific prompts for detailed summarization. To further enhance analysis, sentiment classification was performed using the “cardiffnlp/twitter-robertabase-sentiment” model, categorizing feedback into negative, neutral, and positive sentiments. Evaluation metrics included expert reviews, contextual relevance, and logical consistency with the dataset’s sentiment distribution. Compared to previous models, the Llama 2 model demonstrated superior performance in generating complete, coherent summaries while preserving the overall intent and tone of the comments. Ultimately, this research highlighted the effectiveness of LLMs in processing multilingual educational data and their potential to provide actionable insights for improving course content and student experiences.
Bu tez, dönem sonu anketleri aracılığıyla toplanan iki dilli öğrenci geri bildirimlerini analiz etmek ve özetlemek için NLP tekniklerini uyguladı. İngilizce ve Türkçe dillerinde açık uçlu yanıtlar içeren veri kümesi, diller arası dilsel nüansları koruyabilen bir modele ihtiyaç duymuştu. Metin üretimi için özel olarak eğitilmiş Llama 2-7b-hf modeli, tutarlı ve bağlamsal olarak uygun özetler üretebilme yeteneği nedeniyle seçilmişti. Veri ön işleme aşaması, bölüm, dönem, ders adı ve şube numarası gibi üstverileri düzenlemeyi, yorumları kelime sayılarına göre ayırmayı ve gizliliği sağlamak için kişisel kimlik bilgilerini kaldırmayı içermekteydi. On kelimeden kısa yorumlar, Transformers kütüphanesinden bir ardışık düzen kullanılarak gruplandırılıp özetlenirken, daha uzun yorumlar ayrıntılı özetleme için üstveri odaklı istemlerle ince ayar yapılmıştı. Analizi daha da geliştirmek amacıyla, “cardiffnlp/twitter-robertabase-sentiment” modeli kullanılarak duygu sınıflandırması gerçekleştirilmiş ve geri bildirimler olumsuz, tarafsız ve olumlu olmak üzere üç farklı kategoriye ayrılmıştı. Değerlendirme metrikleri arasında uzman incelemeleri, bağlamsal uygunluk ve veri kümesinin duygu dağılımıyla mantıksal tutarlılık yer almıştı. Önceki modellere kıyasla, Llama 2 modeli, yorumların genel niyetini ve tonunu koruyarak daha eksiksiz ve tutarlı özetler üretmede üstün performans sergilemişti. Sonuç olarak, bu araştırma, LLM'lerin çok dilli eğitim verilerini işlemedeki etkinliğini ve ders içeriğini geliştirmek için uygulanabilir içgörüler sağlamadaki potansiyelini net bir şekilde vurgulamıştı. Bu çalışmanın sonuçları, gelecekteki araştırmalar için de yol gösterici olacaktı.
Bu tez, dönem sonu anketleri aracılığıyla toplanan iki dilli öğrenci geri bildirimlerini analiz etmek ve özetlemek için NLP tekniklerini uyguladı. İngilizce ve Türkçe dillerinde açık uçlu yanıtlar içeren veri kümesi, diller arası dilsel nüansları koruyabilen bir modele ihtiyaç duymuştu. Metin üretimi için özel olarak eğitilmiş Llama 2-7b-hf modeli, tutarlı ve bağlamsal olarak uygun özetler üretebilme yeteneği nedeniyle seçilmişti. Veri ön işleme aşaması, bölüm, dönem, ders adı ve şube numarası gibi üstverileri düzenlemeyi, yorumları kelime sayılarına göre ayırmayı ve gizliliği sağlamak için kişisel kimlik bilgilerini kaldırmayı içermekteydi. On kelimeden kısa yorumlar, Transformers kütüphanesinden bir ardışık düzen kullanılarak gruplandırılıp özetlenirken, daha uzun yorumlar ayrıntılı özetleme için üstveri odaklı istemlerle ince ayar yapılmıştı. Analizi daha da geliştirmek amacıyla, “cardiffnlp/twitter-robertabase-sentiment” modeli kullanılarak duygu sınıflandırması gerçekleştirilmiş ve geri bildirimler olumsuz, tarafsız ve olumlu olmak üzere üç farklı kategoriye ayrılmıştı. Değerlendirme metrikleri arasında uzman incelemeleri, bağlamsal uygunluk ve veri kümesinin duygu dağılımıyla mantıksal tutarlılık yer almıştı. Önceki modellere kıyasla, Llama 2 modeli, yorumların genel niyetini ve tonunu koruyarak daha eksiksiz ve tutarlı özetler üretmede üstün performans sergilemişti. Sonuç olarak, bu araştırma, LLM'lerin çok dilli eğitim verilerini işlemedeki etkinliğini ve ders içeriğini geliştirmek için uygulanabilir içgörüler sağlamadaki potansiyelini net bir şekilde vurgulamıştı. Bu çalışmanın sonuçları, gelecekteki araştırmalar için de yol gösterici olacaktı.
Açıklama
Text in English ; Abstract: English and Turkish
Includes bibliographical references (leaves 39-45)
xii, 46 leaves
Includes bibliographical references (leaves 39-45)
xii, 46 leaves
Anahtar Kelimeler
NLP, Llama 2, Survey, Summarization, Multilingual analysis, Anket, Özetleme, Üretken AI
Kaynak
WoS Q Değeri
Scopus Q Değeri
Cilt
Sayı
Künye
Pourjalil, K. (2025). Extracting meaningful information student surveys with NLP. İstanbul: Işık Üniversitesi Lisansüstü Eğitim Enstitüsü.
