Evaluation of ChatGPT’s performance in answering questions about female lower urinary tract symptoms

OBJECTIVE: ChatGPT is a language model developed by OpenAI. As a language model, ChatGPT can be used for various natural language processing tasks, such as answering questions, providing information, engaging in conversations, and more. We aimed to evaluate ChatGPT’s suitability to accurately inform patients and medical students by analyzing the reliability and accuracy of lower urinary tract symptoms (LUTS) information in women.
MATRERIAL and METHODS: Systematically organized frequently asked questions from urology association websites, hospitals, and social media platforms regarding lower urinary tract symptoms (LUTS) in women, along with questions compiled from European Association of Urology (EAU) recommendations, were analyzed. All questions were systematically submitted to ChatGPT 3.5 and 4.0 versions. Two expert urologists independently evaluated the data and answers to the questions and assigned scores from 1 to 4 to each answer.
RESULTS: A hundred and three frequently asked questions and 36 questions compiled from EAU guideline recommendations regarding LUTS in women were included in the study. 83.50% of the frequently asked questions (85.44% for version 4.0) and 80.56% of the questions compiled from EAU recommendations (80.56% for version 4.0) were rated as ‘completely correct’ (Grade 1). The rate of completely incorrect answers to the questions (Grade 4) was 0.97% in the frequently asked questions group (0.97% for version 4.0) and 2.78% in the guide-based questions group (2.78% for version 4.0). The success rate of both versions in answering questions was found to be close to each other.
CONCLUSION: ChatGPT provided acceptable responses to the posed questions. Despite its limitations, we believe that utilizing this continuously evolving platform under the guidance of urologists in urology clinics will contribute to the diagnosis and treatment processes for patients and their families.

ChatGPT’nin kadınlarda alt üriner sistem semptomları ile ilgili soruları yanıtlama performansının değerlendirilmesi

AMAÇ: ChatGPT, OpenAI tarafından geliştirilen bir dil modelidir. Bir dil modeli olarak ChatGPT, soruları yanıtlama, bilgi sağlama, konuşmalara katılma ve daha fazlası gibi çeşitli doğal dil işleme görevleri için kullanılabilir. Kadınlarda alt üriner sistem semptomları (AÜSS) bilgilerinin güvenilirliğini ve doğruluğunu analiz ederek ChatGPT’nin hastaları ve tıp öğrencilerini doğru şekilde bilgilendirmeye uygunluğunu değerlendirmeyi amaçladık.
GEREÇ ve YÖNTEMLER: Kadınlarda AÜSS ile ilgili üroloji derneği web siteleri, hastaneler ve sosyal medya platformlarında sistematik olarak düzenlenen sık sorulan sorular ve Avrupa Üroloji Derneği (EAU) önerilerinden derlenen sorular analiz edildi. Tüm sorular sistematik olarak ChatGPT 3.5 ve 4.0 versiyonlarına gönderildi. İki uzman ürolog birbirinden bağımsız olarak verileri ve sorulara verilen cevapları değerlendirdi ve her cevaba 1’den 4’e kadar puan verdi.
BULGULAR: Kadınlarda AÜSS ile ilgili sık sorulan 103 soru ve EAU kılavuz önerilerinden derlenen 36 soru çalışmaya dahil edildi. Sık sorulan soruların %83,50’si (versiyon 4.0 için %85,44) ve EAU önerilerinden derlenen soruların %80,56’sı (versiyon 4.0 için %80,56) ‘tamamen doğru’ (Grade 1) olarak derecelendirildi. Sorulara tamamen yanlış cevap verme oranı (Grade 4) sık sorulan sorular grubunda %0,97 (versiyon 4.0 için %0,97), rehber tabanlı sorular grubunda ise %2,78 (versiyon 4.0 için %2,78) olarak gerçekleşti. Her iki versiyonun da soruları yanıtlamadaki başarı oranı birbirine yakın bulunmuştur.
SONUÇ: ChatGPT, sorulan sorulara kabul edilebilir yanıtlar verdi. Kısıtlılıklarına rağmen sürekli gelişen bu platformun üroloji kliniklerinde ürologların rehberliğinde kullanılmasının, hastalara ve ailelerine tanı ve tedavi süreçlerinde katkı sağlayacağına inanıyoruz.