薬局ヒヤリハット事例に対する安全管理対策評価に関するAI開発

文献情報

• 文献番号: 202203005A
• 報告書区分: 総括
• 研究課題名: 薬局ヒヤリハット事例に対する安全管理対策評価に関するAI開発
• 課題番号: 20AC1005
• 研究年度: 令和4(2022)年度
• 研究代表者(所属機関): 岡本 里香(京都大学大学院医学研究科 人間健康科学系専攻 ビッグデータ医科学分野)

研究分担者(所属機関)

• 中津井　雅彦(山口大学　大学院医学系研究科)
• 小島　諒介(京都大学　医学研究科)

• 研究区分: 厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
• 研究開始年度: 令和2(2020)年度
• 研究終了予定年度: 令和4(2022)年度
• 研究費: 15,359,000円
• 研究者交替、所属機関変更: -

研究報告書（概要版）

研究目的

PMDAでは，公益財団法人日本医療機能評価機構（以下，評価機構）が薬局ヒヤリ・ハット事例収集・分析事業に基づき収集・分析・公表した「ヒヤリ・ハット事例」に対し，医薬品の名称・包装等の観点から安全対策を講じる必要がないか検討を行っている．収集される事例は，薬局で発生した調剤や疑義照会等に関するヒヤリ・ハット事例であるが，例えば，調剤に関する事例のうち，薬剤の名称の視覚的，音韻的な類似に起因したことで薬剤取違え等の事例の場合，PMDAでは製造販売会社に対し，薬剤の取違えを防ぐための注意喚起の必要性等について指導する，といった医薬品の物的要因に対する安全管理対策の評価・検討を実施している．当該評価・検討の過程で，PMDAでは，評価機構が公表する事例に対して，人による目で，以下の評価1～5に分類することにより，安全対策の必要な事例を選定している．近年，評価機構の公表事例は約10万近い数におよび，PMDAでの人による評価分類の負担が増加していることを踏まえ，本研究では，この評価分類を人工知能（以下，AI）が行えるようにすることを目的とし，PMDAでの評価分類の負担を軽減し，また事例数が増加している中でも，一貫性のある評価を行えるようにすることを目指す．

研究方法

2021年度に検討した評価分類モデルに対して，新たに評価機構からの報告事例を用いて記述統計を行い，アルゴリズムを確立した．課題として，PMDAは評価時点で，製造販売業者による安全対策の実施あるいは予定を確認したうえで，評価結果に反映していることや，PMDAの人による評価において判断の揺れがあること等が挙げられ，PMDA評価と評価分類モデルによる評価を完全に一致させることは難しい．そこで，評価分類モデルをPMDA評価課程の1次スクリーニングとして使用する場合の許容できる分類精度を事例分析から検討し，事例に対するルールベースを設計した．さらに，PMDAの業務フローの中での評価分類モデルを組み込んだプロセスイメージをPMDA実務担当者と検討し，プロセスイメージの決定後，システム開発を行い，開発したシステムを費用，メンテナンス性，運用の継続性等の観点で検証を行った。

結果と考察

これまでに検討した評価分類モデルは新様式データに対しても適用可能であり，新様式データになったことで，シンプルなno-step法の分類でむしろAUCが向上する結果を昨年度示した．今年度は実用化に向け，no-step法を適用した評価分類モデルで分類し，誤分類について分析したところ，やはりAIではカバーできない要因による誤分類であったため，評価分類モデルとしては，no-step法の適用での条件を最終的な条件として決定した．次に実用化の課題として，誤分類をいかに削減して，かぎりなく0件とするか，に対して，誤分類の分析，PMDAによる精査により，ルールベースロジックを確立した．評価分類モデル＋ルールベースロジックによる1次スクリーニングとして分類の結果，誤分類を0とすることができ，約30～60%の事例についてPMDAでの人による評価が不要と判定された．

結論

これまでの検討を踏まえ，評価分類モデルは1次スクリーニングとして実装し，できる限りPMDAの人による評価を行う2次スクリーニングにおける評価対象件数を減らし，PMDAの業務負担軽減に寄与することを目指し，これまで検討した評価分類モデルの条件を確立し，ルールベースロジックを併せることとした．ルールベースロジックは，PMDAにおける蓄積しているフラグ等を踏まえて作成された．結果として，1次スクリーニングの位置づけとして求められる，誤分類0件を評価分類モデルにルールベースロジックを併せることで実現できた．また，PMDAの業務負担軽減に繋がる2次スクリーニング段階での評価対象件数を削減することができた．以上，開発当初の評価分類モデル（AI）は完成しなかったが，実装可能なAIを開発することができた．本開発は，将来的な医療安全に関連するAI開発を計画する際の事例になると考えており，現行の人による評価において，AIが人に置き換わることは難しいが，より迅速に，人による精査が必要な事例に絞り，効率的な医療安全評価にAIが寄与することを本開発で示せたと考える．

公開日・更新日

• 公開日: 2023-06-18
• 更新日: -

文献情報

• 文献番号: 202203005B
• 報告書区分: 総合
• 研究課題名: 薬局ヒヤリハット事例に対する安全管理対策評価に関するAI開発
• 課題番号: 20AC1005
• 研究年度: 令和4(2022)年度
• 研究代表者(所属機関): 岡本 里香(京都大学大学院医学研究科 人間健康科学系専攻 ビッグデータ医科学分野)

研究分担者(所属機関)

• 中津井　雅彦(山口大学　大学院医学系研究科)
• 小島　諒介(京都大学　医学研究科)

• 研究区分: 厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
• 研究開始年度: 令和2(2020)年度
• 研究終了予定年度: 令和4(2022)年度
• 研究者交替、所属機関変更: -

研究報告書（概要版）

研究目的

PMDAでは，公益財団法人日本医療機能評価機構（以下，評価機構）が薬局ヒヤリ・ハット事例収集・分析事業（以下，本事業）に基づき収集・分析・公表した「ヒヤリ・ハット事例」に対し，医薬品の名称・包装等の観点から安全対策を講じる必要がないか検討を行っている．収集される事例は，薬局で発生した調剤や疑義照会等に関するヒヤリ・ハット事例であるが，例えば，調剤に関する事例のうち，薬剤の名称の視覚的，音韻的な類似に起因したことで薬剤取違えた等の事例の場合，PMDAでは製造販売会社に対し，薬剤の取違えを防ぐための注意喚起の必要性等について指導するといった医薬品の物的要因に対する安全管理対策の評価・検討している．PMDAでは，この評価を人による目で，評価1～5分類し，安全対策の必要な事例を選定している．近年，評価機構の公表事例は約10万近い数におよび，PMDAでの人による評価分類の負担が増加していることを踏まえ，本研究では，この評価分類をAIが行えるようにすることを目的とし，PMDAでの評価分類の負担を軽減し，また事例数が増加している中でも，一貫性のある評価を行えるようにすることを目指す．

研究方法

初年度は，評価機構の旧様式による報告事例を用いて，評価分類モデルを検討し，最適な評価分類モデルの条件を決定した．2021年度は，評価機構の旧様式から新様式への変更に伴い，新様式による報告を入手し，これまでに作成した評価分類モデルが新様式データに対しても同様に分類できるかを検討した．また，精度向上等に向けた検討として，学習データについて追加検討を行い，新様式データ対する最適な評価分類モデルを検討した．最終年度は，2021年度に検討した評価分類モデルに対して，さらに記述統計を行い，アルゴリズムを確立した．また，これまでの検討において得られた課題として，PMDAは評価時点で，製造販売業者による安全対策の実施あるいは予定を確認したうえで，評価結果に反映していることや，PMDAの人による評価において判断の揺れがあること等が挙げられ，PMDA評価と評価分類モデルによる評価を完全に一致させることは難しい．そこで，評価分類モデルをPMDA評価課程の1次スクリーニングとして使用する場合の許容できる分類精度を事例分析から検討し，事例に対するルールベースを設計した．PMDAの業務フローの中での評価分類モデルを組み込んだプロセスイメージをPMDA実務担当者と検討の上，システム開発を行い，開発したシステムを費用，メンテナンス性，運用の継続性等の観点で検証を行った。

結果と考察

2022年度までに検討した評価分類モデルは新様式データに対しても適用可能であり，これまでテキストを多く含んでいた旧様式に対し，新様式データになったことで，シンプルな分類スキーム（no-step法）でむしろAUCが向上する結果を示した．誤分類については，これまでの誤分類分析と同様にやはりAIではカバーできない要因による誤分類であった．実用化の課題として，誤分類をいかに削減して，限りなく0件とするか，に対して，評価分類モデル＋ルールベースロジックによる1次スクリーニングとして分類の結果，誤分類を0とすることができ，次に続くスクリーニングにおける，人による評価が必要な事例数を約30～60％削減できる見込みであり，評価分類モデルの開発として実用化レベルとすることができた．また，実装環境の構築については，どの委託業者でも環境維持ができるようマニュアル作成を指導するなどの対応を実施した．

結論

本開発当初は，PMDAの業務負担軽減と人による評価のばらつきをなくすことを目的として，PMDAの人による評価分類に代わり，PMDA評価と100%一致する評価分類モデルとしてのAIを開発する計画で開始した．評価分類モデルの精度向上を目指したが，結果的に，AI以外の要因でPMDA評価と一致することは難しいことが分かった．そこで，評価分類モデルは1次スクリーニングとして実装し，できる限りPMDAの人による評価を行う2次スクリーニングにおける評価対象件数を減らし，PMDAの業務負担軽減に寄与することを目指し，評価分類モデルにルールベースロジックを併せることとした．その結果，誤分類0件を評価分類モデルにルールベースロジックを併せることで実現できた．また，PMDAの業務負担軽減に繋がる2次スクリーニング段階での評価対象件数を削減することができた．以上，開発当初の評価分類モデルは完成しなかったが，実装可能なAIを開発することができた．本開発は，将来的な医療安全に関連するAI開発を計画する際の事例として，現行の人による評価がAIに置き換わることは難しいが，より迅速に，人による精査が必要な事例に絞り，効率的な医療安全評価にAIが寄与することを本開発で示せたと考える．

公開日・更新日

• 公開日: 2023-06-18
• 更新日: -

行政効果報告

• 文献番号: 202203005C

成果

• 専門的・学術的観点からの成果: PMDA評価と100%一致する評価分類モデルとしてのAIを開発する計画で開始したが，AI以外の要因で100%一致することは難しいことが分かった．そこで，PMDAの業務負担軽減に寄与することを目指し，1次スクリーニングとして最適な評価分類モデルの条件を確立し，ルールベースロジックを併せることで誤分類を0件とし，PMDAによる2次スクリーニング段階での評価対象件数を削減することができた．
• 臨床的観点からの成果: 臨床的な研究ではなく，特に記載事項はない．
• ガイドライン等の開発: ガイドライン等の開発に関する研究ではないため，特記事項はない．
• その他行政的観点からの成果: 2023年3月1日開催の令和４年度第2回安全使用対策検討会において，これまでの開発について説明をし，2023年度4月以降のPMDAの本業務において，本研究で開発したAI試用をPMDAのヒヤリハット業務の評価支援の位置付けて使用することが承認された．
• その他のインパクト: 学会発表では，以下を実施した．; ・第7回日本医療安全学会学術総会（オンライン）2021年5月25日; ・第11回レギュラトリーサイエンス学会学術大会 2021年9月17日; ; また，以下のプレスリリースを京都大学より行った．; 2021年08月31日 医薬品の安全性に関するテキスト報告データ評価AIを本学とエクサウィザーズが共同開発 －報告評価の効率化を支援し、医薬品の安全利用促進に寄与－

発表件数

• 原著論文（和文）: 0件
• 原著論文（英文等）: 1件 ; submitted
• その他論文(和文): 0件
• その他論文(英文等): 0件
• 学会発表(国内学会): 2件
• 学会発表(国際学会等): 0件
• その他成果(特許の出願): 0件
• その他成果(特許の取得): 0件
• その他成果(施策への反映): 0件
• その他成果(普及・啓発活動): 3件 ; 学会発表2件，ホームページ1件

公開日・更新日

• 公開日: 2023-06-18
• 更新日: -

収支報告書

• 文献番号: 202203005Z
• 報告年月日: 2023年06月08日

収入

• (1)補助金交付額: 19,966,000円
• (2)補助金確定額: 19,966,000円
• 差引額 [(1)-(2)]: 0円

支出

研究費 (内訳)	直接研究費	物品費	5,187,300円
		人件費・謝金	0円
		旅費	271,700円
		その他	9,900,000円
	間接経費		4,607,000円
	合計		19,966,000円

備考

• 備考: -

公開日・更新日

• 公開日: 2023-06-18
• 更新日: -