2023年7月22日
カルテの自動要約生成AIシステムを医療現場に導入するために行ったPoC
医療系システム開発を行っているイギリス企業のBabylonやアバディーン大学、ADAPT Research Centreなどに所属するメンバーによって医療カルテの自動生成を行うシステムと、その実証実験(PoC)についての取り組みが公開されました。
AIの現場にフォーカスした実証実験の取り組みが公開されることは少なく、貴重な情報となります。
医療分野では、医師と患者の診察の音声録音から自動的に医療カルテを生成するための自然言語処理の研究が増えていますが、その一方でこれらのシステムを臨床現場へ導入するための課題は数多くあります。
また、電子健康記録（EHR）の導入により、医師は各患者との対話の詳細な記録を保管することが求められます。
これは有用なデータを生み出し、より良い医療結果につながる可能性がありますが、管理業務の負担が医師の疲労の主な原因であることが示されています。
患者と医者の会話をカルテ向けに要約するAIシステム
システム構成自体はシンプルなものであり、患者と医者の会話から文字起こしを行い、それを生成AIを用いてカルテ向けに要約します。
本記事で紹介するTom（筆頭著者）らの取り組みでは、現場レベルで信頼できるシステムを開発するために、事前に３ステップの実証実験を行っています。
医療現場におけるAIの実証実験は、なぜ必要？
実証実験は、システムの開発において重要な役割を果たします。
特に生成AIにおいては、リアルタイムで出力を生成する必要があり、現場での体験を重要視する必要があります。
なにより、近年の研究では、音声認識から書き起こしを行い、それを要約するアプローチが提案されることは増えており、効果的であると主張する研究が増えていますが、実証実験を行う際に外せない要素であるHCI(ヒューマンコンピュータインタラクション)の関連性と課題についてほとんど考慮されてきませんでした。
上記の理由からTomらは以下の３つのステップから事前の実証実験を行っています。
- ユーザーの要件と初期の印象を収集するための従来的な医療カルテ作成方法の観測
- ベータ版UIの実験：臨床医に3つの疑似UIを提示しフィードバックを獲得
- Wizard-of-Oz （システムと偽り裏側で人間が処理を行う手法） を活用した実験
ステップ１：従来的な医療カルテ作成方法の観測
Babylonに所属する医師にインタビューを行うことで、既存の人手でカルテを作成する場面での問題点を明確にします。
カルテ要約AIシステムによっても解決が困難な３つのポイント
患者は必ずしも正直ではない
患者は症状などの情報を隠したり、誇張したりする可能性があります。
また、患者が自身のカルテにアクセスできる状況において、患者が正直でないと判断される場面でカルテに記載を行うことはできません。
患者から複数の訴えがある場合の対応
患者は時折、複数の医療的な問題についてアドバイスを求めるケースがあります。
医師は時間がある限り追加の対応を行いますが、異なる医療問題については例えば別々の段落に保存し対処を行います。
カルテ要約AIシステムにおいても同様の解決が行える必要があります。
非言語の情報
患者の態度などの情報はカルテ要約AIシステムで取り込むことが不可能ですが、医師全員がこれらの非言語情報の情報をカルテに記載することがあると主張します。
ステップ２：ベータ版UIの実験
５名のBabylonに所属する医師が1時間の1対1の半構造化インタビューに参加しました。
この取り組みの中でシステムのフィードバックを求められるように促され、カルテ要約AIシステムがどのように提供されるのか映像で提示されました。
参加したすべての医師はシステムのコンセプトを有用と考え、同時にタイピングする必要が減るため、患者に集中できる手助けとなると判断しました。
その一方で懸念も出てきており、操作に自由を奪われること、ただの書き起こし機能になってしまうこと、医学用語が使用されず、平易な言葉で記載されてしまうことなどが挙げられました。
また、画面に逐次テキストが記載される方式には反対意見が多くなりました。
これは情報が多くなりすぎるため気を散らす可能性があり、また文章を生成するのに時間がかかるためです。
また、重要な情報が記載されるか確認する必要があることから、診察の終わりまで生成されたカルテが表示されるのを待つことについても懸念が挙げられました。
そのため、リアルタイム表示の機能については強く好まれる形になりました。
この調査結果は、カルテ生成システムの出力速度が臨床医の導入に影響を与える影響について示しています。
特に、結果の出力が遅すぎる場合、医師は手動でのカルテ作成に戻ってしまうことが危惧されます。
ステップ３：Wizard of Ozを活用した実験
ステップ２での実験に参加していない別の医師５名が90分の1対1のワークショップに参加し、リモート患者と疑似会話を実施するよう依頼されました。また、フィードバックを収集するために半構造化インタビューを実施しました。
この実験ではGoogle SlidesをUIとして活用し、裏側にWizard役として別の医師が存在し、その医師が本来のAIシステムの代わりに要約を生成します。
合計で、5人の臨床医（研究参加者）は、それぞれ一般的な一次医療のトピックである尿路感染症、副鼻腔炎、およびメンタルヘルスについて3回の疑似会話を行いました。
この実験からは以下のように、いくつかの結果が明らかになりました。
すべての臨床医の最初の会話は不連続
これは、患者に集中するのではなく、時折システムの出力をチラ見していたためです。
その後の模擬会話では、手動でのカルテの取り方が減少し、システムにより依存するようになりました。
セッションの終了時には、すべての臨床医が自分のカルテ作成で自動生成されたカルテの一部を使用しているのを確認できました。
出力速度が求められる
システムを使用した後、2人の医師は出力速度が遅すぎると報告しました。
また、すべての臨床医が、リアルタイムに近い速度が非常に望ましいと言及しました。
これは、会話が別のトピックに移る前に、カルテ生成AIシステムが重要な情報を取得していることを確認したいからです。
システムの使い方は変化することも
最初はすべての医師がシステムを使用しませんでしたが、最後の対話では医師の40%が簡易な情報をリアルタイムで追加するなどの操作を行い、別の25%の医師がリアルタイムの生成結果を確認したりとシステムの使い方の変化が生じました。
また、２人の医師が最後に生成されたカルテを読み返して、患者の視点と一致していることを確認する形式でシステムを使用していました。
カルテ要約AIシステムの実証実験
Tomらは上記までのステップ1~3の結果を踏まえてシステムを開発し、このシステムもまた現場で活躍する医師が活用する形式で実証実験を行いました。
その結果が以下になります。
- 実験の最初は医師たちは手書きだったが、実験の最後には皆がシステムを活用した
- 難しい診察の場面では医師たちは手書きでカルテを作成している
- 医師たちは、生成されたカルテをそのまま使わずにいくつか修正を加えることが多い
- カルテを作るのがどれくらい簡単か、患者に集中するのがどれくらい簡単か、複数の仕事を同時にするのがどれくらい簡単か、という質問に答えると、ツールを使った後の方が少し簡単に感じると回答された
- 実験の後、全ての医師がこのシステムをこれからも使いたいと判断した
- 初めは自動生成された結果に懐疑的だった医師もシステムに関心を持った
- 医師ごとに多様な形でシステムを使用するが、それでも価値があることを示した
アナリストによる分析
アジャイル型とウォーターフォール型の折衷案となるプロジェクト進行
カルテ生成AIは、生成AIが出現してから医療業界で着目される医療AIとなりますが、それ以上にプロジェクト進行が興味深い事例です。
Tomらの開発では製品作成の前にステップ１～３の事前検証を行ったとのことですが、これはPDCAサイクルを重要視するアジャイル型と、プロジェクトのマイルストーンを明確に掲げスケジュールに沿って進行するウォーターフォール型、それぞれのハイブリッドなアプローチになっているように見受けられます。
特にプロジェクトに関わる人数が多くなるほどに新製品はいつできるのか？そのためのマイルストーンはどのようになるのか？といった情報が求められやすくなります。
その一方で、AIを含めたソフトウェア製品については様々な議論が展開されてきたように、ウォーターフォール型プロジェクトは製品の品質向上まで目的とする場合にはやはり相性がよくありません。
本記事でご紹介したアプローチであればどのような事前検証をいつまでに行うのか？といったスケジュールの提示が可能になるだけでなく、少しずつ現場に近い環境に移しながら必要な要件を取捨選択できるというPDCAに近い形でのフィードバックを得ることができます。
アジャイル型で開発が進められる環境であるに越したことはありませんが、許容されにくい場面では今回紹介した事例を参考に、ウォーターフォール型の中にPDCAサイクルを組み込めるような工夫を行うと安全にプロジェクトが進めやすいです。