ChatGPT ve Google Gemini’nin ürolojide karşılaştırılması: Penil protez hasta eğitiminde hangi yapay zeka modeli üstün?

AMAÇ: Bu çalışmanın amacı, yapay zekâ destekli sohbet botları ChatGPT-4 ve Google Gemini’nin penil protezle ilgili hasta eğitimi alanındaki performanslarını karşılaştırmaktır. Özellikle bu iki platformun hasta sorularına verdikleri yanıtların doğruluğu, hız ve tekrarlanabilirlik açısından değerlendirilmesi hedeflenmiştir. Penil protez ameliyatları hakkında bilgi arayan hastaların doğru ve kapsamlı bilgiye erişimi, karar verme süreçlerini ve tedavi sonuçlarını doğrudan etkileyebilir. Bu nedenle, yapay zekâ destekli platformların bu alandaki etkinliğini incelemek önemlidir.
GEREÇ ve YÖNTEMLER: Çalışmada, Google arama sonuçlarının “People also ask” bölümünden alınan toplam 50 soru kullanılmıştır. Bu sorular, ChatGPT-4 ve Google Gemini’ye ayrı ayrı yönlendirilmiştir. Yanıtlar, iki deneyimli ürolog tarafından bağımsız olarak Global Quality Score (GQS) kullanılarak değerlendirilmiştir. Yanıltıcı bilgiler yanlış bilgi olarak sınıflandırılmıştır. Yanıt süreleri ve tekrarlanabilirlik oranları istatistiksel olarak analiz edilmiştir. Analizlerde p <0,05 anlamlılık düzeyi olarak kabul edilmiştir.
BULGULAR: ChatGPT-4, Google Gemini’ye kıyasla daha yüksek bir genel GQS ortalaması (4,9±0,31 vs. 3,45±0,94, p <0,001) ve daha hızlı yanıt süresi (12,3±2,1 saniye vs. 18,7±3,4 saniye, p <0,001) göstermiştir. Tekrarlanabilirlik oranlarında ise anlamlı bir fark bulunmamıştır (ChatGPT: %94, Google Gemini: %90, p=0,20).
SONUÇ: ChatGPT-4, hem daha hızlı hem de daha doğru yanıtlar sunarak Google Gemini’ye üstünlük sağlamıştır. Bu bulgular, yapay zekâ destekli sohbet botlarının hasta eğitimi alanında önemli bir potansiyel sunduğunu ortaya koymaktadır. Ancak, bu platformların bilgi doğruluğunu sağlamak için insan denetimine ihtiyaç duyduğu unutulmamalıdır.

Comparing ChatGPT and Google Gemini in urology: Which ai model provides superior patient education on penile prosthesis?

OBJECTIVE: This study aimed to compare the performance of AIpowered chatbots ChatGPT-4 and Google Gemini in patient education on penile prostheses. Specifically, the evaluation focused on the accuracy, speed, and reproducibility of their responses to patient questions. Access to accurate and comprehensive information about penile prosthesis surgeries directly impacts patients’ decision-making processes and treatment outcomes. Therefore, examining the effectiveness of AIpowered platforms in this domain is of significant importance.
MATRERIAL and METHODS: Fifty questions were sourced from the “People also ask” section of Google search results. These questions were separately submitted to ChatGPT-4 and Google Gemini. The responses were independently evaluated by two experienced urologists using the Global Quality Score (GQS). Misleading information was classified as misinformation. Response times and reproducibility rates were statistically analyzed, with a significance level set at p <0.05.
RESULTS: ChatGPT-4 demonstrated a higher overall GQS average compared to Google Gemini (4.9±0.31 vs. 3.45±0.94, p <0.001) and provided faster response times (12.3±2.1 seconds vs. 18.7±3.4 seconds, p <0.001). No statistically significant difference was observed in reproducibility rates between the two platforms (ChatGPT: 94%, Google Gemini: 90%, p=0.20).
CONCLUSION: ChatGPT-4 outperformed Google Gemini by providing both faster and more accurate responses. These findings highlight the potential of AI-powered chatbots in patient education. However, the necessity of human oversight to ensure the accuracy of the information provided by these platforms should not be overlooked.