Sanal Modeli Gerçek Dünyada Kullanmak Ne Kadar Güvenilir? ChatGPT Aracılığıyla İnme Sorularına Yanıt
How Reliable Is It to Use the Virtual Model in the Real World? Response to Stroke Questions Via ChatGPT
Received Date : 14 Feb 2025
Accepted Date : 07 May 2025
Available Online : 15 May 2025
Fatma ÖZCANa, Merve ÖRÜCÜ ATARa, Yasin DEMİRa, Eda GÜRÇAYa
aUniversity of Health Sciences Faculty of Medicine, Ankara Gaziler Physical Medicine and Rehabilitation Training and Research Hospital, Department of Physical Medicine and Rehabilitation, Ankara, Türkiye
Doi: 10.31609/jpmrs.2025-109562 - Makale Dili: EN
J PMR Sci
ÖZET
Amaç: Günümüzde, yapay zekâ sohbet robotları hastalar tarafından
hastalıkları hakkında bilgi edinmek için giderek daha fazla kullanılmaktadır.
İnme ile ilgili sorularda Chat “Generative Pre-trained Transformer’ın
(ChatGPT)” güvenilirliğini ve kullanılabilirliğini belirlemek amaçlanmıştır.
Gereç ve Yöntemler: Google Trends’te en sık aranan anahtar kelimeler
olarak belirlenen 3 anahtar kelimeye (“genel bilgiler”, “komplikasyonlar”
ve “rehabilitasyon”) göre hazırlanan toplam 39 soru, 2 değerlendirici tarafından
7 puanlık Likert ölçeğine göre güvenilirlik ve kullanılabilirlik açısından
eş zamanlı olarak değerlendirilmiştir. Bulgular: Değerlendiriciler
arası Cronbach α puanları, hem güvenilirlik hem de kullanılabilirlik puanları
için “mükemmel” ile önemli ölçüde uyum olduğunu göstermiştir (sırasıyla
α 0,813-0,949 arasında ve α 0,303-0,857 arasında). En yüksek ortalama
güvenilirlik puanı “genel bilgiler” içindi (ortalama 5,2). En düşük ortalama
ise “rehabilitasyon” bölümü içindi (ortalama 4,1). Değerlendirici 1 için
“komplikasyonlar” ve değerlendirici 2 için “genel bilgiler” kullanılabilirlik
için en yüksek ortalama puanlara sahipti (ortalama 5,4) ve en düşük ortalama
değer “rehabilitasyon” bölümünde kaydedildi (sırasıyla ortalama 4,6, 4,2).
Sonuç: ChatGPT’nin inme ile ilgili sorulara verdiği yanıtlar güvenilir ve
yararlıydı. Ancak, ChatGPT’nin özellikle “rehabilitasyon” bölümünde yanlış
veya eksik bilgi sağlayabileceği ve bunun da hastalık yönetiminde önemli
eksikliklere yol açabileceği unutulmamalıdır.
Anahtar Kelimeler: ChatGPT; inme; güvenilirlik; kullanılabilirlik; yapay zekâ
ABSTRACT
Objective: Nowadays, artificial intelligence chatbots are increasingly
used by patients to obtain information about the diagnosis, of
their diseases. This study aimed to determine the reliability and usability of
Chat Generative Pre-trained Transformer (ChatGPT) in stroke-related questions.
Material and Methods: A total of 39 questions were prepared according
to 3 keywords (“general information”, “complications” and
“rehabilitation”), which were identified as the most frequently searched keywords
in Google Trends, and were evaluated simultaneously by 2 raters according
on a 7-point Likert scale for reliability and usability. Results:
Inter-rater Cronbach α scores indicated almost perfect to substantial agreement
for both reliability and usability scores (α between 0.813-0.949, and α
between 0.303-0.857, respectively). The highest mean reliability score was
for “general information” (mean 5.2). The lowest average was for the “rehabilitation”
section (mean 4.1). The “complications” for rater 1 and “general
information” for rater 2 had the highest mean scores for the usability
(mean 5.4), and the lowest mean value was recorded in the “rehabilitation”
section (mean 4.6, 4.2, respectively). Conclusion: ChatGPT’s responses to
the stroke-related questions were reliable and useful. However, it should be
kept in mind that ChatGPT may provide incorrect and incomplete information,
especially in the “rehabilitation” section, which may lead to significant
deficiencies in disease management.
Keywords: ChatGPT; stroke; reliability; usability; artificial intelligence