文献情報
文献番号
201703022A
報告書区分
総括
研究課題名
ロボット型内視鏡操作支援システムのAIによる高度化と各種医療機器統合インターフェースとしての展開
課題番号
H29-ICT-一般-012
研究年度
平成29(2017)年度
研究代表者(所属機関)
江口 晋(国立大学法人 長崎大学 大学院医歯薬学総合研究科（医学系） 移植・消化器外科)
研究分担者(所属機関)
- 小坂 太一郎(国立大学法人 長崎大学 病院（医学系）移植・消化器外科)
- 伊藤 信一郎(国立大学法人 長崎大学 病院（医学系）移植・消化器外科)
- 足立 智彦(国立大学法人 長崎大学 病院（医学系）移植・消化器外科)
- 喜安 千弥(国立大学法人 長崎大学 大学院工学研究科 電気・情報科学部門)
- 柴田 裕一郎(国立大学法人 長崎大学 大学院工学研究科 電気・情報科学部門)
- 薗田 光太郎(国立大学法人 長崎大学 大学院工学研究科 電気・情報科学部門)
- 諸麥 俊司(学校法人 中央大学 理工学部 電気電子情報通信工学科)
研究区分
厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築研究）
研究開始年度
平成29(2017)年度
研究終了予定年度
令和1(2019)年度
研究費
8,703,000円
研究者交替、所属機関変更
-
研究報告書（概要版）
研究目的
当研究グループは、離島医療など外科医数が少ない環境下でも腹腔鏡手術が施行できる新規デバイスを目指し、内視鏡担当医に代わって腹腔鏡を支持し、術者の操作信号に沿って腹腔鏡の操作を行うロボット型内視鏡操作支援システムの開発に取り組んでいる。本研究課題では現在開発を進めているロボット型内視鏡操作支援システムにAIを組み込むことで、術中に外科医を適切にサポートするシステムとして発展させることを目的としている。本システムは、外科医の負担軽減と精度の高い判断を支援すると同時に、各種術中のデータを体系的に統合・収集できるインターフェースとしても機能する。具体的には本研究は次の二つの研究目的を有する。
研究方法
課題１）操作支援、（自動操作）、ナビゲーションシステムのためのデータベースの構築（データベース共通化・標準化の検討含む）
内視鏡操作支援（自動操作）及びナビゲーションシステムの構築のため、AIの学習用術前、手術情報のデータベースを構築する。執刀データは具体的には手術動画解析、モーショントラッキングによるカメラワーク、内視鏡静止画像データから抽出される鉗子操作とともに、外科医が判別しマーキングを行った手術操作用メルクマール画像（静止画）とカメラ焦点、中心との位置関係等が含まれる。手術操作用メルクマールの対象臓器は手術で摘出対象となる胆嚢、切離対象となる胆嚢管、胆嚢動脈、損傷を回避すべき総胆管とし、手術症例の動画より静止画を約30－50枚程度抽出、画像上に手術操作用メルクマール（胆嚢、胆嚢管、胆嚢動脈、総胆管）にデジタルペンでマーキングしたものをメルクマール画像とする。
本研究施設（及び研究協力施設）で、過去に施行された手術症例（胆嚢摘出術）（n=100）に関して、前述データを収集し、これを解析、データベースを構築する。
その後、AIシステムを構築し、作成した学習データを学習させる。
課題２）AI知能化とその評価を目的としたロボット型内視鏡操作システムの製作
本研究課題で開発に取組むロボットはデータ収集や評価のために手術室での実験が頻繁に行われると想定されるため、これまで以上に手術室の環境に適応し、操作や運用に負担の少ない仕様とすることとした。このため、生体と触れる部分はディスポーザブル化し、また電気モータはロボット本体ではなく、附属する制御ユニットに配置することとし、ケーブル駆動式の自動車用スライドウインドウシステムを採用して大幅なスリム化・軽量化を図った。
内視鏡操作支援（自動操作）及びナビゲーションシステムの構築のため、AIの学習用術前、手術情報のデータベースを構築する。執刀データは具体的には手術動画解析、モーショントラッキングによるカメラワーク、内視鏡静止画像データから抽出される鉗子操作とともに、外科医が判別しマーキングを行った手術操作用メルクマール画像（静止画）とカメラ焦点、中心との位置関係等が含まれる。手術操作用メルクマールの対象臓器は手術で摘出対象となる胆嚢、切離対象となる胆嚢管、胆嚢動脈、損傷を回避すべき総胆管とし、手術症例の動画より静止画を約30－50枚程度抽出、画像上に手術操作用メルクマール（胆嚢、胆嚢管、胆嚢動脈、総胆管）にデジタルペンでマーキングしたものをメルクマール画像とする。
本研究施設（及び研究協力施設）で、過去に施行された手術症例（胆嚢摘出術）（n=100）に関して、前述データを収集し、これを解析、データベースを構築する。
その後、AIシステムを構築し、作成した学習データを学習させる。
課題２）AI知能化とその評価を目的としたロボット型内視鏡操作システムの製作
本研究課題で開発に取組むロボットはデータ収集や評価のために手術室での実験が頻繁に行われると想定されるため、これまで以上に手術室の環境に適応し、操作や運用に負担の少ない仕様とすることとした。このため、生体と触れる部分はディスポーザブル化し、また電気モータはロボット本体ではなく、附属する制御ユニットに配置することとし、ケーブル駆動式の自動車用スライドウインドウシステムを採用して大幅なスリム化・軽量化を図った。
結果と考察
課題１）操作支援、（自動操作）、ナビゲーションシステムのためのデータベースの構築（データベース共通化・標準化の検討含む）
1) データベース構築のための手術データ作成
AIによる腹腔鏡操作支援およびナビゲーション機能の実現のためのデータベース構築に向けて手術データの作成に取り組んだ。キックオフミーティング、長崎大学内医工連携ミーティングにおいて、手術データの作成は以下の要領で行なうことを決定した。
内視鏡映像データの収集
・対象の術式は腹腔鏡下胆嚢摘出術とする。
・長崎大学病院移植・消化器外科並びに関連病院における過去及び今後の手術症例100例以上の内視鏡映像データを収集する。
・内視鏡操作や手術ナビゲーションの観点から腹腔鏡下胆嚢摘出術をステージに分割し、各ステージの学習を可能とする。
内視鏡操作ロボットの操作学習用データの作成
内視鏡操作の学習用データの作成にあたり、上記内視鏡映像データに対し、内視鏡操作の熟練度に応じた選り分けと、ステージごとの映像データの分類を行なう。
手術ナビゲーション機能用手術データの作成
各手術症例において代表的画像約30－50枚を抽出し、画像上に胆嚢、胆嚢管および胆嚢動脈走行部位、総胆管走行部位等にデジタルペンでマーキングする。
上記内容に準じて、当研究グループにおいて過去施行され、匿名化された腹腔鏡下胆嚢摘出術映像データを100例選別し、動画より無作為に30から50枚の静止画を作成。この画像に対して、胆嚢、胆嚢管、総胆管を、画像ソフトを用いてマーキングし、手術ナビゲーション機能用のAIシステム学習データとした。
課題２）AI知能化とその評価を目的としたロボット型内視鏡操作システムの製作
手術器具も手がける自動車部品メーカー1社の協力を仰ぎ、現在詳細設計を行っている。6月中旬に設計を終え、8月に装置完成を予定している。
1) データベース構築のための手術データ作成
AIによる腹腔鏡操作支援およびナビゲーション機能の実現のためのデータベース構築に向けて手術データの作成に取り組んだ。キックオフミーティング、長崎大学内医工連携ミーティングにおいて、手術データの作成は以下の要領で行なうことを決定した。
内視鏡映像データの収集
・対象の術式は腹腔鏡下胆嚢摘出術とする。
・長崎大学病院移植・消化器外科並びに関連病院における過去及び今後の手術症例100例以上の内視鏡映像データを収集する。
・内視鏡操作や手術ナビゲーションの観点から腹腔鏡下胆嚢摘出術をステージに分割し、各ステージの学習を可能とする。
内視鏡操作ロボットの操作学習用データの作成
内視鏡操作の学習用データの作成にあたり、上記内視鏡映像データに対し、内視鏡操作の熟練度に応じた選り分けと、ステージごとの映像データの分類を行なう。
手術ナビゲーション機能用手術データの作成
各手術症例において代表的画像約30－50枚を抽出し、画像上に胆嚢、胆嚢管および胆嚢動脈走行部位、総胆管走行部位等にデジタルペンでマーキングする。
上記内容に準じて、当研究グループにおいて過去施行され、匿名化された腹腔鏡下胆嚢摘出術映像データを100例選別し、動画より無作為に30から50枚の静止画を作成。この画像に対して、胆嚢、胆嚢管、総胆管を、画像ソフトを用いてマーキングし、手術ナビゲーション機能用のAIシステム学習データとした。
課題２）AI知能化とその評価を目的としたロボット型内視鏡操作システムの製作
手術器具も手がける自動車部品メーカー1社の協力を仰ぎ、現在詳細設計を行っている。6月中旬に設計を終え、8月に装置完成を予定している。
結論
本年度で、AIシステムのための学習データの収集・作成を実施した。現時点では更なるデータの収集・作成を実施し、AIの判断の精度向上に努めるとともに、動画データの解析に関しても着手する予定である。
公開日・更新日
公開日
2019-11-15
更新日
-