文献情報
文献番号
202003016A
報告書区分
総括
研究課題名
薬局ヒヤリハット事例に対する安全管理対策評価に関するAI開発
課題番号
20AC1005
研究年度
令和2(2020)年度
研究代表者(所属機関)
岡本 里香(和歌山県立医科大学 臨床研究センター)
研究分担者(所属機関)
- 中津井 雅彦(山口大学 大学院医学系研究科)
- 小島 諒介(京都大学 医学研究科)
研究区分
厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
研究開始年度
令和2(2020)年度
研究終了予定年度
令和4(2022)年度
研究費
15,359,000円
研究者交替、所属機関変更
-
研究報告書（概要版）
研究目的
独立行政法人医薬品医療機器総合機構（以下，PMDA）では，公益財団法人日本医療機能評価機構（以下，評価機構）が収集・分析・公表する「ヒヤリ・ハット事例」に対し，医薬品の名称・包装等の観点から安全対策を講じる必要がないか検討を行っている．例えば，調剤に関する事例のうち，薬剤の名称の視覚的，音韻的な類似に起因したことで薬剤取違えた等の事例の場合，PMDAでは製造販売会社に対し，薬剤の取違えを防ぐための注意喚起の必要性等について指導する，といった医薬品の物的要因に対する安全管理対策の評価・検討している．本研究では，PMDAにおける評価分類を人工知能（以下，AI）が行えるようにすることを目的とし，PMDAでの評価分類の負担を軽減し，また事例数が増加している中でも，一貫性のある評価を行えるようにすることを目指す．
研究方法
PMDAが公表する「評価機構公表内容」＋「PMDA評価結果」のデータを対象として，次の1stStep～2nd Stepを繰り返すことにより，モデルの分類の精度を向上させる．
●1st Step：評価分類モデル作成
評価機構公表内容の項目のテキスト記述を特徴量化し，また医薬品名を抽出し，各薬品情報を参照できるようにして
評価分類モデルを作成する．
●2nd Step：評価分類モデルの精度確認
評価分類モデルで分類した結果とPMDA評価結果とを比較する．
●1st Step：評価分類モデル作成
評価機構公表内容の項目のテキスト記述を特徴量化し，また医薬品名を抽出し，各薬品情報を参照できるようにして
評価分類モデルを作成する．
●2nd Step：評価分類モデルの精度確認
評価分類モデルで分類した結果とPMDA評価結果とを比較する．
結果と考察
モデルの分類精度として，precision，recall，F1-scoreを評価指標とした．評価分類モデル作成において，以下を実施した．
●テキスト，一般名・販売名の表層の類似度，の特徴量化
●Universal Sentence Encoderとword2vecの比較・評価
●薬剤の規制区分として「劇薬」情報を追加．
●Random Over SamplingとRandom Under Samplingの比較
その結果，Random Over Samplingの場合に，「評価1及び2」の分類について，precisionは学習データセットを追加するごとに高まったが，recallについては，「テキスト情報」を学習させると低くなった．一方，「評価4」については，「テキスト情報」を追加することにより，recallは高まった．さらに，「評価1及び2」の分類精度を高めるために，規制区分「劇薬」の情報を追加したところ，Random Over Samplingでは，precisionが高まる結果が得られた．word2vecとUSEとの比較は，NoStepアプローチ（単一モデルで分類）とStepアプローチ（モデルを2段階に分け，別のモデルを構築して分類）の2種類の各アプローチにおける分類結果をF1-scoreで比較した．その結果，NoStepアプローチでは差が見られず，Stepアプローチでは，特にStep1でテキスト情報を追加した場合に，USEの方が精度が良い傾向がみられた．
【考察】
評価1，2及び3の事例の記述の特徴の一つとして，「XXとして取り違えた」という記述が多い．そのため，テキスト情報に対する特徴量を複数組み合わせることにより，precisionが上がったと考える．逆に，「XXとして取り違えた」という記述が多いという特徴は「記載が類似している」ということであり，テキスト情報に対する特徴量の組み合わせは，誤分類のきっかけになり，recall低下となったと考える．word2vecとUSEとの比較においては，USEの「文を固定長のベクトルとして表現する，文脈により異なるベクトル表現を獲得可能」という特性が「テキスト情報」に対して有効であると考えられた．
●テキスト，一般名・販売名の表層の類似度，の特徴量化
●Universal Sentence Encoderとword2vecの比較・評価
●薬剤の規制区分として「劇薬」情報を追加．
●Random Over SamplingとRandom Under Samplingの比較
その結果，Random Over Samplingの場合に，「評価1及び2」の分類について，precisionは学習データセットを追加するごとに高まったが，recallについては，「テキスト情報」を学習させると低くなった．一方，「評価4」については，「テキスト情報」を追加することにより，recallは高まった．さらに，「評価1及び2」の分類精度を高めるために，規制区分「劇薬」の情報を追加したところ，Random Over Samplingでは，precisionが高まる結果が得られた．word2vecとUSEとの比較は，NoStepアプローチ（単一モデルで分類）とStepアプローチ（モデルを2段階に分け，別のモデルを構築して分類）の2種類の各アプローチにおける分類結果をF1-scoreで比較した．その結果，NoStepアプローチでは差が見られず，Stepアプローチでは，特にStep1でテキスト情報を追加した場合に，USEの方が精度が良い傾向がみられた．
【考察】
評価1，2及び3の事例の記述の特徴の一つとして，「XXとして取り違えた」という記述が多い．そのため，テキスト情報に対する特徴量を複数組み合わせることにより，precisionが上がったと考える．逆に，「XXとして取り違えた」という記述が多いという特徴は「記載が類似している」ということであり，テキスト情報に対する特徴量の組み合わせは，誤分類のきっかけになり，recall低下となったと考える．word2vecとUSEとの比較においては，USEの「文を固定長のベクトルとして表現する，文脈により異なるベクトル表現を獲得可能」という特性が「テキスト情報」に対して有効であると考えられた．
結論
さらに評価機構データの特徴を精査し，新たに追加すべき特徴量を同定するために，USEとword2vecとの差分となった評価機構データの事例を分析する必要がある．しかし，データ数が少ない，評価機構への報告記述のばらつき等により，モデルによる分類結果とPMDA評価結果を100％一致させることは現時点では困難である．今後の開発は，追加すべき特徴量の同定を行う一方で， PMDAで使用する上で許容できるモデル分類の精度を検討し，許容できる精度を踏まえたアルゴリズムの決定や運用方法の検討をしていく必要があると考える．
新たな検討として，評価機構への報告が2020年3月17日から新様式での報告となったことから，これまで開発してきたモデルを新様式でのデータ対象に検証が必要となる．新様式では，これまでのテキスト記述から報告事例の区分等が選択肢として選べるようになることから，分類の精度が上がることを期待している．
新たな検討として，評価機構への報告が2020年3月17日から新様式での報告となったことから，これまで開発してきたモデルを新様式でのデータ対象に検証が必要となる．新様式では，これまでのテキスト記述から報告事例の区分等が選択肢として選べるようになることから，分類の精度が上がることを期待している．
公開日・更新日
公開日
2021-07-06
更新日
-