人工知能を活用した副作用症例報告の評価支援の基盤整備と試行的評価

文献情報

• 文献番号: 201903004A
• 報告書区分: 総括
• 研究課題名: 人工知能を活用した副作用症例報告の評価支援の基盤整備と試行的評価
• 課題番号: H29-ICT-一般-005
• 研究年度: 令和1(2019)年度
• 研究代表者(所属機関): 今任 拓也(国立がん研究センター 社会と健康研究センター)

研究分担者(所属機関)

• 潮田　明(国立研究開発法人　産業技術総合研究所　人工知能研究センター)
• 森谷　純治(独立行政法人医薬品医療機器総合機構　医薬品安全対策第一部)
• 相原　道子(横浜市立大学　医学研究科)
• 斎藤　嘉朗(国立医薬品食品衛生研究所　医薬安全科学部)

• 研究区分: 厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
• 研究開始年度: 平成29(2017)年度
• 研究終了予定年度: 令和1(2019)年度
• 研究費: 14,685,000円
• 研究者交替、所属機関変更: 所属機関異動 研究代表者 今任拓也 国立医薬品食品衛生研究所（ 令和元年4月1日～令和元年12月31日）→ 国立がん研究センター（令和2年1月1日以降）

研究報告書（概要版）

研究目的

本研究は、診断基準が比較的明確であり、致死性の高い副作用であるスティーブンス・ジョンソン症候群（SJS）および中毒性表皮壊死融解症（TEN）を対象とし、PMDAにおいて管理されている副作用個別症例報告を用いて、近年、医療を始めとした様々な分野で注目されている人工知能技術を応用し、副作用判定評価システムの構築のための試行的評価を実施した。前年度は、副作用判定に人工知能を応用するための基盤整備に先行し、まず、人手により素性を付与した副作用判定の試行的評価を実施したため、今年度は、主に基盤整備を実施し、改めて、全行程を通じた副作用判定の試行的評価を行うこととした。

研究方法

PMDAにて管理されている副作用個別症例報告書（SJS:1410件、TEN:200件）のテキストデータを用いた。素性抽出のためのトレーニングデータの作成には、brat（brat rapid annotation tool）を用い、アノテーション作業を行った。前年度の副作用自動判定の評価に用いたSJSの副作用個別症例報告書200件はテスト用データとして用い、残りの1410件のうち、981件を学習用データ、429件をバリデーションデータとして用いた。素性アノテーション用学習モデルには、SJSに関連する論文を含む広範囲にわたる医学雑誌の論文、JAPIC が提供する医薬品添付文書および独自開発の自動検索装置によりWEBから収集された医療分野のテキストからなる総計6千万文の日本文テキストを用いてBert用pretrainedモデルを構築して用いた。最後に、全行程を通した副作用判定の精度評価は、前年度と同様に、素性の評価が容易なMaximum Entropy Classifier(MEC)を用いて５分割交差検証により行った。

結果と考察

自動アノテーションについては、O-tagを含むすべてのタグ付けのテストデータの精度は96.5%、O-tagを除いた精度は69.4%であった。また、この自動アノテーションの結果をもとに副作用自動判定を行った結果、81.5％の判定精度が得られた。前年度に実施した素性を人手で付与した場合の副作用自動判定の精度は86.0％であったのに対し、今年度に実施した自動アノテーションの結果をもとにした副作用自動判定の結果では、4.5%低下したが、これは当初の目標としていた80%の精度を上回る結果となった。今回得られた結果は、安心して使用できるレベルではないと考えられ、さらに精度を上げるためには、今回の研究では捉えきれていない特徴を考慮すること、また、副作用個別症例報告書の記載内容の記載者によるぶれを減らすなど、報告書の形式についても検討していく必要があると考えられる。また、副作用自動判定システムの構築には、それぞれの副作用の判定に適した特徴量の抽出が今後の課題であると考えられる。

結論

3名の専門員の副作用判定精度の概算値が80%～90%であったことから、専門家の精度領域に近い結果が得られた。

公開日・更新日

• 公開日: 2020-11-02
• 更新日: -

文献情報

• 文献番号: 201903004B
• 報告書区分: 総合
• 研究課題名: 人工知能を活用した副作用症例報告の評価支援の基盤整備と試行的評価
• 課題番号: H29-ICT-一般-005
• 研究年度: 令和1(2019)年度
• 研究代表者(所属機関): 今任 拓也(国立がん研究センター 社会と健康研究センター)

研究分担者(所属機関)

• 潮田　明(国立研究開発法人産業技術総合研究所　人工知能研究センター)
• 森谷　純治(独立行政法人医薬品医療機器総合機構　医薬品安全対策第一部)
• 相原　道子(横浜市立大学　医学研究科)
• 斎藤　嘉朗(国立医薬品食品衛生研究所　医薬安全科学部)

• 研究区分: 厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
• 研究開始年度: 平成29(2017)年度
• 研究終了予定年度: 令和1(2019)年度
• 研究者交替、所属機関変更: 所属機関異動 研究分担者 今任拓也 国立医薬品食品衛生研究所（ 平成29年4月1日～令和元年12月31日）→ 国立がん研究センター（令和2年1月1日以降）

研究報告書（概要版）

研究目的

医薬品の安全対策に対し、リスクマネジメントプランが導入され、開発段階から市販後までの安全対策の充実強化が図られている。副作用報告は、主に製薬企業により症例報告書の形で医薬品医療機器総合機構（PMDA）に提出されることとなっている。2012年には国内症例4万件程度だったものが2018年には約6万件となっており、年々増加傾向にある。そのため、PMDAでは膨大な症例報告を効率的かつ適切に評価することが必要となっている。そこで、PMDAにおいて管理されている副作用個別症例報告を用い、スティーブンス・ジョンソン症候群（SJS）および中毒性表皮壊死融解症（TEN）を対象副作用とし、副作用判定に人工知能を応用するための基盤整備を実施し、人工知能を応用したSJSおよびTENの副作用判定の自動化システムの構築を目標とした。本研究は、そのための試行的評価を実施し、その精度について検討を行った。

研究方法

本研究は、①副作用報告の評価に人工知能を応用するための基盤整備と②人工知能を用いた副作用の試行的評価の２つの工程で実施することとした。副作用報告の評価に人工知能を応用するための基盤整備では、SJS、TENの副作用判定の重要と考えられる素性抽出のためのトレーニングデータの作成およびBertを用い、作成したトレーニングデータを用いた素性抽出のモデル構築を行った。また、人工知能を用いた副作用判定の試行的評価には、副作用評価のための機械学習用トレーニングデータを作成し、Maximum Entropy Classifier(MEC)を機械学習器として用い、副作用判定の試行的な評価を実施した。

結果と考察

副作用判定の評価に人工知能を応用するための基盤整備における自動アノテーションについては、O-tagを含むすべてのタグ付けのテストデータにおける精度は96.5%、O-tagを除いた精度は69.4%であった。また、人工知能を用いた副作用の試行的評価においては、81.5％の判定精度が得られた。3名の専門員の判定精度の概算値が80%～90%であったことから、専門家の精度領域に近づいたと言える。しかしながら、現場で人工知能を活用しようとした場合、81.5%の精度ではまだ安心して使えるレベルとは言えない。本研究結果から人工知能を現場で役立てていくための方法の１つとして、人工知能の確信度、すなわち、「人工知能が自分自身の判定結果に付与する確率」の活用が考えられる。また、モデルのエラー分析は専門家の判断基準の明確化に活用できる可能性も期待できる。一方で、副作用個別症例報告の書きぶりも副作用判定に影響する要素の１つと考えられ、副作用判定に人工知能を応用するためには副作用個別症例報告書の形式についても、検討が必要である可能性も示唆された。開発した素性抽出のためのトレーニングデータおよび副作用評価のための機械学習用トレーニングデータはいずれもSJS、TENに特化したものであり、トレーニングデータのクリーニングなどの課題は残っているものの、機械学習用のモデルおよび自然言語処理の要素技術は他の副作用にも適用可能であり、今後のさらなる拡充が期待される。

結論

人工知能により副作用判定を行うことのできるモデルを構築し、その結果、当初目標の80%を上回る81.5%の判定精度を達成した。

公開日・更新日

• 公開日: 2020-11-02
• 更新日: -

行政効果報告

• 文献番号: 201903004C

成果

• 専門的・学術的観点からの成果: 本研究は、症例報告書からの副作用に特徴的な素性（特徴量）の自動抽出の枠組みを構築し、開発した素性・素性値ペアのセットから副作用の自動判定を行うモジュールと統合して、全行程を通じて人工知能により副作用判定を行うことのできるモデルを構築し、判定精度の試行的評価を行った。その結果、81.5%の判定精度を達成した。3名の専門員の判定精度の概算値が80%～90%であることから、本研究で構築した人工知能では、専門家による副作用判定に近い精度が得られることがわかった。
• 臨床的観点からの成果: 副作用判定には、副作用判定を実際に実施している専門員からのヒアリングや重篤副作用疾患別対応マニュアルに沿った特徴量を選定しており、臨床的観点からもこのシステムによる副作用判定の有用性は高く、他の副作用への汎用も可能と考える。
• ガイドライン等の開発: 該当なし
• その他行政的観点からの成果: 該当なし
• その他のインパクト: 該当なし

発表件数

• 原著論文（和文）: 0件
• 原著論文（英文等）: 0件
• その他論文(和文): 1件 ; AIを活用した副作用の自動評価. 小児外科 Vol. 53 No. 4, 2021‒4; 435-441
• その他論文(英文等): 0件
• 学会発表(国内学会): 1件 ; 潮田明、今任拓也、森谷純治、斎藤嘉朗、松永雄亮、沼生智晴、見田活、阿川英之、関口遼： 人工知能を活用した副作用症例報告書の試行的評価．第5回日本医療安全学会学術総会（2019.2）
• 学会発表(国際学会等): 0件
• その他成果(特許の出願): 0件
• その他成果(特許の取得): 0件
• その他成果(施策への反映): 0件
• その他成果(普及・啓発活動): 0件

公開日・更新日

• 公開日: 2021-07-14
• 更新日: -

収支報告書

• 文献番号: 201903004Z