LuminaURO: a comprehensive Artificial Intelligence Driven Assistant for enhancing urological diagnostics and patient care

Aim: This study aims to develop and validate LuminaURO, a Retrieval-Augmented Generation (RAG)-based AI Assistant specifically designed for urological healthcare, addressing the limitations of conventional Large Language Models (LLMs) in healthcare applications. Methods: We developed LuminaURO using a specialized repository of urological documents and implemented a novel pooling methodology to search multilingual documents and aggregate information for response generation. The system was evaluated using multiple similarity algorithms (OESM, Spacy, T5, and BERTScore) and expert assessment by urologists (n=3). Results: LuminaURO generates responses within 8-15 seconds from multilingual documents and enhances user interaction by providing two contextually relevant follow-up questions per query. The architecture demonstrates significant improvements in search latency, memory requirements, and similarity metrics compared to state-of-the-art approaches. Validation shows similarity scores of 0.6756, 0.7206, 0.9296, 0.9223, and 0.9183 for English responses, and 0.6686, 0.7166, 0.8119, 0.9220, 0.9315, and 0.9086 for Turkish responses. Expert evaluation by urologists revealed similarity scores of 0.9444 and 0.9408 for English and Turkish responses, respectively. Conclusion: LuminaURO successfully addresses the limitations of conventional LLM implementations in healthcare by utilizing specialized urological documents and our innovative pooling methodology for multilanguage document processing. The high similarity scores across multiple evaluation metrics and strong expert validation confirm the system’s effectiveness in providing accurate and relevant urological information. Future research will focus on expanding this approach to other medical specialties, with the ultimate goal of developing LuminaHealth, a comprehensive healthcare assistant covering all medical domains.

Amaç: Bu çalışma, ürolojik sağlık hizmetleri için özel olarak tasarlanmış, Erişim-Güçlendirilmiş Üretim (RAG) tabanlı bir yapay zeka asistanı olan LuminaURO’yu geliştirmeyi ve doğrulamayı amaçlamaktadır. Bu sistem, sağlık uygulamalarında geleneksel Büyük Dil Modellerinin (LLM) sınırlamalarını ele almaktadır. Yöntemler: LuminaURO’yu ürolojik dokümanların özel bir deposunu kullanarak geliştirdik ve çok dilli dokümanları aramak ve yanıt üretimi için bilgileri toplamak amacıyla yenilikçi bir havuzlama metodolojisi uyguladık. Sistem, çoklu benzerlik algoritmaları (OESM, Spacy, T5 ve BERTScore) ve ürologlar tarafından uzman değerlendirmesi (n=3) kullanılarak değerlendirildi. Bulgular: LuminaURO, çok dilli dokümanlardan 8-15 saniye içinde yanıtlar üretmekte ve her sorgu için bağlamsal olarak ilgili iki takip sorusu sunarak kullanıcı etkileşimini geliştirmektedir. Mimari, son teknoloji yaklaşımlara kıyasla arama gecikmesi, bellek gereksinimleri ve benzerlik metrikleri açısından önemli iyileştirmeler göstermektedir. Doğrulama, İngilizce yanıtlar için 0,6756, 0,7206, 0,9296, 0,9223 ve 0,9183, Türkçe yanıtlar için ise 0,6686, 0,7166, 0,8119, 0,9220, 0,9315 ve 0,9086 benzerlik puanları göstermektedir. Ürologlar tarafından yapılan uzman değerlendirmesi, sırasıyla İngilizce ve Türkçe yanıtlar için 0,9444 ve 0,9408 benzerlik puanları ortaya koymuştur. Sonuç: LuminaURO, özel ürolojik dokümanları ve çok dilli doküman işleme için yenilikçi havuzlama metodolojimizi kullanarak sağlık hizmetlerinde geleneksel LLM uygulamalarının sınırlamalarını başarıyla ele almaktadır. Çoklu değerlendirme metriklerinde elde edilen yüksek benzerlik puanları ve güçlü uzman doğrulaması, sistemin doğru ve ilgili ürolojik bilgileri sağlama konusundaki etkinliğini teyit etmektedir. Gelecekteki araştırmalar, bu yaklaşımı diğer tıbbi uzmanlık alanlarına genişletmeye odaklanacak ve nihai hedef olarak tüm tıbbi alanları kapsayan kapsamlı bir sağlık asistanı olan LuminaHealth’i geliştirmek olacaktır.