医療安全の確保に向けた手術動画の記録および解析におけるAI活用の有用性の実証

文献情報

• 文献番号: 202203004A
• 報告書区分: 総括
• 研究課題名: 医療安全の確保に向けた手術動画の記録および解析におけるAI活用の有用性の実証
• 課題番号: 20AC1004
• 研究年度: 令和4(2022)年度
• 研究代表者(所属機関): 梶田 大樹(慶應義塾大学 医学部)

研究分担者(所属機関)

• 斎藤　英雄(慶應義塾大学　理工学部情報工学科)

• 研究区分: 厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
• 研究開始年度: 令和2(2020)年度
• 研究終了予定年度: 令和4(2022)年度
• 研究費: 15,384,000円
• 研究者交替、所属機関変更: -

研究報告書（概要版）

研究目的

　厚生労働行政の課題として、安全・安心な医療の提供が挙げられる。手術に関しては、第三者の事後検証が実施できるように、術中の映像を残し、調査の対象に含められることが望ましい。特に医療安全の確保を目的に、常に発生しうる医療事故に備える場合、手術の全件録画・全録画が望ましいとされるが、実際の現場には多くの課題がある。
　ICTインフラの面では、内視鏡や顕微鏡が使用されない限り、手術動画の録画・保存のために必要かつ利便性の高い機器は開発されていないという問題がある。特に、開腹手術に限らず、外科医が直視下に行う手術（open surgery）においては、手術室のスタッフがわざわざカメラを細かく調整する必要があるうえ、術中にはカメラと術野の間に外科医の頭や体が入り込むため、術野の撮影は困難であり、全録画など不可能であった。
　本研究の研究代表者・研究分担者らは、この課題を解決するために、AMED 事業を通じて「マルチカメラ搭載型無影灯」を開発し、スタッフが撮影を意識せずとも、open surgeryの全録画が可能であることを実証した。
　本研究の目的は、マルチカメラ搭載型無影灯によるAIを活用した手術の全自動録画（手術全録画AI）およびAIによる手術映像の解析が、医療の質や安全の向上に有用であるとするエビデンスを確立することである。

研究方法

令和４年度には、手術映像データ収集、手術映像解析AIの開発、手術映像解析AIの有用性の実証研究に取り組んだ。
手術映像データ収集では、マルチカメラ搭載型無影灯やメガネ型アイトラッカー、ルーペ設置型の術野カメラを使用して、手術の撮影を実施した。
手術映像解析AIの開発では、術具の識別AIの開発、手術工程判別AIの開発に取り組んだ。
手術映像解析AIの有用性の実証研究では、令和２年度から令和４年度に開発した手術映像解析AIについて、ユーザーテストを行った。

結果と考察

手術映像データ収集では、令和４年度に74件の手術の撮影を実施し、令和２年度以前の手術も含め、動画を研究に利用可能な手術の総数を214件とした。
手術映像解析AIの開発では、術具の識別AIの開発において、バリデーションデータで51.3%、テストデータで29.7%の値が得られた。データセット内で登場頻度が小さい稀な術具の精度が伸びないために、全体では3割に満たない精度にとどまった。
手術工程判別AIの開発では、15本の動画を12本のトレーニングデータと3本のテストデータに分割し学習したところ、既存手法（TeCNO）では63.3%の精度が得られ、提案手法では77.6%の精度が得られた。
手術映像解析AIの有用性の実証研究では、「このシステムを実際に使ってみたい」という質問について12人の医療スタッフから平均4.5の回答が得られた。
Open surgeryでは内視鏡手術やロボット手術と比べ多種多様の術具が登場するため、術具の識別のタスクの難易度が非常に大きいことが確認された。今後は、稀な術具や変形する術具に対する検出の精度を向上させることが課題として挙げられる。手術工程の判別のタスクにおいては、既存の手術工程を推定するモデルは内視鏡手術を対象としたものであり、open surgeryの手術工程の推定では高い精度が得られないことが確認された。そこで我々は一般の行動分類タスクに特化した Transformer ベースのモデルであるASFormerを用いることで高い精度を得ることに成功した。今後は判別結果を利用して医療安全の向上に寄与するような仕組みを組み立てることについて検討していきたい。

結論

本研究を通じてopen surgeryの手術動画を対象とするAI開発の礎を築いた。そもそもopen surgeryは撮影が困難でデータが集められないため、AI開発の報告はほとんどない。本研究グループでは、世界で唯一であるopen surgeryの多視点全録画データの活用が可能であり、引き続き世界を先導するAI開発に邁進していきたい。

公開日・更新日

• 公開日: 2023-06-13
• 更新日: -

文献情報

• 文献番号: 202203004B
• 報告書区分: 総合
• 研究課題名: 医療安全の確保に向けた手術動画の記録および解析におけるAI活用の有用性の実証
• 課題番号: 20AC1004
• 研究年度: 令和4(2022)年度
• 研究代表者(所属機関): 梶田 大樹(慶應義塾大学 医学部)

研究分担者(所属機関)

• 斎藤　英雄(慶應義塾大学　理工学部情報工学科)

• 研究区分: 厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
• 研究開始年度: 令和2(2020)年度
• 研究終了予定年度: 令和4(2022)年度
• 研究者交替、所属機関変更: -

研究報告書（概要版）

研究目的

　厚生労働行政の課題として、安全・安心な医療の提供が挙げられる。手術に関しては、第三者の事後検証が実施できるように、術中の映像を残し、調査の対象に含められることが望ましい。特に医療安全の確保を目的に、常に発生しうる医療事故に備える場合、手術の全件録画・全録画が望ましいとされるが、実際の現場には多くの課題がある。
　ICTインフラの面では、内視鏡や顕微鏡が使用されない限り、手術動画の録画・保存のために必要かつ利便性の高い機器は開発されていないという問題がある。特に、開腹手術に限らず、外科医が直視下に行う手術（open surgery）においては、手術室のスタッフがわざわざカメラを細かく調整する必要があるうえ、術中にはカメラと術野の間に外科医の頭や体が入り込むため、術野の撮影は困難であり、全録画など不可能であった。
　本研究の研究代表者・研究分担者らは、この課題を解決するために、AMED 事業を通じて「マルチカメラ搭載型無影灯」を開発し、スタッフが撮影を意識せずとも、open surgeryの全録画が可能であることを実証した。
　本研究の目的は、マルチカメラ搭載型無影灯によるAIを活用した手術の全自動録画（手術全録画AI）およびAIによる手術映像の解析が、医療の質や安全の向上に有用であるとするエビデンスを確立することである。

研究方法

令和２・３年度には、手術全録画AIの有用性の実証研究、手術映像データ収集、手術映像解析AIの開発に取り組んだ。令和４年度には、手術映像データ収集、手術映像解析AIの開発、手術映像解析AIの有用性の実証研究に取り組んだ。
手術全録画AIの有用性の実証研究として、実物大人体模型を使用しての検証と、実際の手術での検証を行った。術映像データ収集として、マルチカメラ搭載型無影灯やメガネ型アイトラッカー、ルーペ設置型の術野カメラを使用して、手術の撮影を実施した。
手術映像解析AIの開発として、持針器・剪刀の識別AIの開発、術野の被注視領域・被注視点予測AIの開発、術具の識別AI開発に向けたデータセットの作成、一人称視点映像の特徴を学習したカメラ選択AIの開発、手術動画の視聴支援システムの有用性の評価、術具の識別AIの開発、手術工程判別AIの開発を行った。最後に手術映像解析AIの有用性の実証研究を行った。

結果と考察

手術全録画AIの有用性の実証研究では、実物大人体模型を使用しての検証、ならびに実際の手術での検証の両者において、カメラ1台の場合と比べ、手術全録画AIによる切替映像で術野が撮影した方が術野が確実に記録されることが実証された。
手術映像データ収集では、研究期間に168件の手術の動画撮影を実施し、研究に利用可能な手術の総数を214件とした。
持針器・剪刀の識別AIの開発では、分類の精度を62.1%から89.5%に向上させた。術野の被注視領域・被注視点予測AIの開発えでは、アイトラッカーで得られた注視点を含む領域を推定することが可能であった。術具の識別AI開発に向けたデータセットの作成では、15の手術動画から得た19,000の画像について、31種類の術具を矩形で囲うアノテーションを施したデータセットを作成した。一人称視点映像の特徴を学習したカメラ選択AIの開発では、79.7%の適合率で正しい視点のカメラを選択することができた。手術動画の視聴支援システムの有用性の評価では、AIによる自動拡大・自動要約が施された動画が最も優れた評価を得た。術具の識別AIの開発では、31種類の術具に対し、テストデータで29.7%の精度が得られた。手術工程判別AIの開発では、、既存手法を14.3%上回る77.6%の精度が得られた。手術映像解析AIの有用性の実証研究では、「このシステムを実際に使ってみたい」という質問について12人の医療スタッフから平均4.5の回答が得られた。自由回答では、映像の質に関する課題が多く挙げられた。
手術映像解析AIの有用性について、今回の事業の中ではエビデンスを創出するまでには至らなかった。これはユーザテストで得られた回答を見て分かるように、現時点ではopen surgeryの映像記録自体が難しく、表示される映像の質が十分なものではないと評価されていることに要因があると考えられる。

結論

本研究を通じてopen surgeryの手術動画を対象とするAI開発の礎を築いた。そもそもopen surgeryは撮影が困難でデータが集められないため、AI開発の報告はほとんどない。本研究グループでは、世界で唯一であるopen surgeryの多視点全録画データの活用が可能であり、引き続き世界を先導するAI開発に邁進していきたい。昨今のAI技術の発展は目覚ましいものがあり、AIが医療安全の確保に貢献する日が到来するのは遠くないものと期待される。

公開日・更新日

• 公開日: 2023-06-13
• 更新日: -

行政効果報告

• 文献番号: 202203004C

成果

• 専門的・学術的観点からの成果: (1) 研究成果; 15の手術動画から得た19,000の画像について、31種類の術具を矩形で囲うアノテーションを施したデータセットを作成した。成果はApplied Sciences誌に掲載された。; (2) 研究成果の学術的・国際的・社会的意義; 本成果は手術動画の術具検出に関するデータセットとしては世界的にも最大規模のものである。またopen surgeryを対象としたデータセットは非常に貴重であり、今後のAI開発を大きく加速させることが期待される。
• 臨床的観点からの成果: 特記事項無し
• ガイドライン等の開発: 特記事項無し
• その他行政的観点からの成果: 特記事項無し
• その他のインパクト: 特記事項無し

発表件数

• 原著論文（和文）: 3件
• 原著論文（英文等）: 5件
• その他論文(和文): 5件
• その他論文(英文等): 9件
• 学会発表(国内学会): 17件
• 学会発表(国際学会等): 10件
• その他成果(特許の出願): 0件
• その他成果(特許の取得): 0件
• その他成果(施策への反映): 0件
• その他成果(普及・啓発活動): 0件

主な原著論文20編（論文に厚生労働科学研究費の補助を受けたことが明記された論文に限る）

• 原著論文1: Yuki Saito, Ryo Hachiuma, Hideo Saito, et al; Camera Selection for Occlusion-Less Surgery Recording via Training With an Egocentric Camera ; IEEE Access , 9 , 138307-138322 (2021); 10.1109/ACCESS.2021.3118426
• 原著論文2: Keitaro Yoshida , Ryo Hachiuma , Hisako Tomita, et al; Spatiotemporal Video Highlight by Neural Network Considering Gaze and Hands of Surgeon in Egocentric Surgical Videos; Journal of Medical Robotics Research , 7 (1) , 2141001- (2022); 10.1142/s2424905x21410014
• 原著論文3: Haowen Hu, Ryo Hachiuma, Hideo Saito, et al; Multi-Camera Multi-Person Tracking and Re-Identification in an Operating Room ; Journal of Imaging , 8 (8) , 219- (2022); 10.3390/jimaging8080219
• 原著論文4: Ryo Fujii, Ryo Hachiuma, Hiroki Kajita, et al; Surgical Tool Detection in Open Surgery Videos ; Applied Sciences , 12 (20) , 10473- (2022); 10.3390/app122010473
• 原著論文5: Mana Masuda, Hideo Saito, Yoshifumi Takatsume, et al; Novel View Synthesis for Unseen Surgery Recordings ; Proceedings of the 18th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications , 5 , 944-949 (2023); 10.5220/0011897200003417

公開日・更新日

• 公開日: 2023-06-09
• 更新日: -

収支報告書

• 文献番号: 202203004Z