ارتقای درک بیمار از تصویربرداری‌های انکولوژیک: ارزیابی رادیولوژیست‌ها و بیماران از گزارش‌های خلاصه‌شده در مقایسه با گزارش‌های کاملِ ساده‌سازی‌شده توسط هوش مصنوعی در یک مرکز تخصصی و پیشرفته درمان سرطان…

زمینه:

رویکرد خدمات انکولوژی (سرطان‌شناسی) به‌طور فزاینده‌ای به سمت بیمارمحوری حرکت می‌کند. تصویربرداری بخش تعیین‌کننده‌ای از مدیریت بیماران مبتلا به سرطان است و با ظهور پرونده‌های سلامت دیجیتال (DHR)، بیماران امکان دسترسی مستقل به نتایج تصویربرداری خود را یافته‌اند؛ با این حال، روش بهینه برای انجام این کار هنوز مشخص نیست. معرفی مدل‌های زبانی بزرگ (LLM) این پتانسیل را ایجاد می‌کند که گزارش‌های رادیولوژی به قالبی شفاف‌تر، قابل‌دسترس‌تر و عاری از ابهام تبدیل شوند و دسترسی بیماران به سوابق پزشکی‌شان تسهیل و همگانی گردد.

روش‌ها:

یک مطالعه ارزیابی خدمات (SE) با روش گذشته‌نگر و با مشارکت چندین ارزیاب، در یک بیمارستان تخصصی سطح سوم انکولوژی انجام شد. هدف این مطالعه، سنجش توانایی یک مدل زبانی بزرگ (LLM) در تولید دو نسخه از گزارش‌های ساده‌سازی‌شده تصویربرداری انکولوژی بود. در این ارزیابی، ترجیحات نمایندگان مشارکت‌کننده از میان بیماران و عموم مردم (PPI) و همچنین متخصصان مراقبت‌های بهداشتی (HCP) با استفاده از گزارش‌های اصلی رادیولوژی مربوط به دو گروه از بیماران — مبتلایان به سرطان روده بزرگ (۳۰ نفر) و سرطان ریه (۳۰ نفر) — مورد بررسی قرار گرفت. در مرحله تدوین دستورالعمل (Prompt)، دو دستور برای تولید نسخه‌های «خلاصه‌شده» (نسخه A) و «کامل» (نسخه B) گزارش طراحی شد. فرآیند بازبینی شامل ۳۶۰ مورد بررسی توسط رادیولوژیست‌ها و ۱۸۰ مورد بررسی توسط نمایندگان PPI بود.

نتایج:

امتیازات رادیولوژیست‌ها برای گزارش‌های خلاصه و کامل در گروه‌های مختلف، متفاوت بود. در گروه سرطان ریه، نسخه A از نظر صحت اطلاعات (P = 0.001)، کامل بودن (P < 0.0001)، قابلیت دسترسی و خوانایی (P = 0.026) و سودمندی برای بیماران (P < 0.0001) امتیاز بالاتری کسب کرد. در گروه سرطان روده بزرگ، نتایج معکوس بود و نسخه B به‌طور مداوم امتیازات بالاتری دریافت کرد (P < 0.002). هنگام ترکیب داده‌های هر دو گروه، تفاوت معناداری در میانه امتیازات نسخه‌های A و B مشاهده نشد (در تمام موارد P > 0.057). بررسی‌های نمایندگان PPI نشان داد که گزارش‌های کامل به‌طور معناداری ترجیح داده می‌شوند (P < 0.0001). نتایج کیفی حاصل از نظرات رادیولوژیست‌ها و نمایندگان PPI مواردی همچون اظهارات نادرست (۲۸ مورد)، اصطلاحات پیچیده (۱۸ مورد)، ایجاد سردرگمی (۱۰ مورد) و فقدان اطلاعات (۱۰ مورد) را شناسایی کرد.

نتیجه‌گیری:

گزارش‌های ساده‌سازی‌شده توسط مدل‌های زبانی بزرگ (LLM) پتانسیل آن را دارند که دسترسی بیماران به نتایج تصویربرداری انکولوژی را بهبود بخشند. ترجیحات PPI و HCP برای گزارش‌های خلاصه در مقابل گزارش‌های کامل متفاوت است. یافته‌ها نشان می‌دهد که این خروجی‌ها احتمالاً از تنظیمات مناسب با نیازهای فردی بیمار و زمینه بالینی بهره‌مند می‌شوند. گزارش‌هایی با محتوای نادرست، گیج‌کننده و ناقص، نشان می‌دهند که LLM قبل از استفاده بالینی بالقوه در این زمینه، نیاز به بهبود دارد.

Background:

Oncology practice is increasingly aiming to be patient centric. Imaging is a decisive part of the management of cancer patients and with the introduction of Digital Health Records (DHR) patients have the possibility of accessing their imaging results independently, yet the optimal way of doing so is still not clear. The introduction of Large Language Models (LLM) offers the potential to turn radiology reports into a clearer, accessible and unambiguous format and to democratise patient’s access to their own medical records.

Methods:

A multi-reader retrospective Service Evaluation (SE) conducted at a tertiary oncology hospital aimed to assess the capability of an LLM to generate two versions of simplified oncology imaging reports. The SE assessed Patient and Public Involvement (PPI) representatives and healthcare professionals’ (HCP) preferences using original radiology reports from two cohorts, colorectal (n = 30) and lung (n = 30) cancer. A Prompt-development phase created two prompts to generate the summarised (version A) and the full-length (version B) report versions. The review was performed by radiologists with 360 reads and PPI representatives with 180 reads.

Results:

Radiologists scores between summaries and full-length reports differed per cohort. In the lung cohort, version A was rated higher for factual correctness (P = 0.001), completeness (P < 0.0001), accessibility and readability (P = 0.026), and benefit to patients (P < 0.0001). The opposite was seen in the colorectal cohort, version B achieved consistently higher scores (P < 0.002). When the two cohorts were combined, median scores for version A and B did not differ significantly (all P > 0.057). PPI reviews indicated that full-length reports were favoured significantly (P < 0.0001). Qualitative results from radiologists and PPI identified incorrect statements (n = 28), complex terminology (n = 18), addition of confusion (n = 10), and missing information (n = 10).

Conclusions:

LLM simplified reports have the potential to improve patient accessibility in oncology imaging. PPI and HCP preferences for summarised versus full-length reports vary. Findings suggest these outputs are likely to benefit from appropriate adjustments to individual patient needs and clinical context. Reports with incorrect, confusing and missing content, highlight that LLM need improvement, ahead of potential clinical use in this setting.