ICTを基盤とした卒前卒後のシームレスな医師の臨床教育評価システム構築のための研究

文献情報

• 文献番号: 202303003A
• 報告書区分: 総括
• 研究課題名: ICTを基盤とした卒前卒後のシームレスな医師の臨床教育評価システム構築のための研究
• 課題番号: 21AC1004
• 研究年度: 令和5(2023)年度
• 研究代表者(所属機関): 田中 雄二郎(国立大学法人東京医科歯科大学 )

研究分担者(所属機関)

• 山脇　正永(東京医科歯科大学　臨床医学教育開発学分野)
• 岡田　英理子(東京医科歯科大学　臨床医学教育開発学分野)
• 那波　伸敏(東京医科歯科大学　国際健康推進医学)
• 木内　貴弘(東京大学　医学部附属病院)
• 高橋　誠(北海道大学　大学院医学研究院)
• 福井　次矢(東京医科大学　茨城医療センター)
• 大出　幸子(学校法人　聖路加国際大学　公衆衛生大学院)

• 研究区分: 厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
• 研究開始年度: 令和3(2021)年度
• 研究終了予定年度: 令和5(2023)年度
• 研究費: 7,693,000円
• 研究者交替、所属機関変更: -

研究報告書（概要版）

研究目的

我々はこれまでにICTを活用した卒前卒後のシームレスな評価システム(PG-EPOC(旧EPOC2))の開発を進めてきた。PG-EPOCの卒後評価システムは令和2年から運用を開始しており、利用施設・研修医数は、800施設、8000名を超えており、臨床研修医の全国データがPG-EPOCシステムに入力されている。本研究の目的は、この開発と運用を通じて、臨床研修医の学修プロセスを評価・解析し、評価の信頼性・再現性を分析することで、研修医臨床研修制度の改善に寄与することである。

研究方法

令和３～４年度に作成した統計解析のための全体共通データセットの定義書、出力フォーマット、データ抽出プログラムの適宜修正により、令和2年度臨床研修医採用数9279人の93％にあたるデータが抽出され各研究班のデータ解析が開始された。EPOCシステムの改修も同時に実施されている。令和4年度に実施した侵襲的医行為の分担班での研究は、さらにサンプル数を増やして改めてKaplan-Meier法を用いて、縦軸を手技を未習得の研修医の割合、横軸を研修開始時からの月数として解析を実施した。研修医の成長を評価する臨床研修評価票Ⅰ/Ⅱ/Ⅲのtrajectory analysis解析も令和4年よりもサンプル数を増やして解析をおこなった。指導医への評価票のインタビューも実施し、coding解析を実施した。研修医評価票の信頼性と再現性を多角的に評価し、指導医間での評価のばらつきや、研修医の性別、年齢との影響などを検討した。海外の評価システムとの比較では、米国、英国などのステークホルダーへのインタビュー調査をおこなって解析した。

結果と考察

令和5年度はデータセットの修正と利用者からのフィードバックを元にPG-EPOCの機能追加と改修を行った。臨床研修医の全国データが令和5年度はさらに追加され（n=6826から8592に増加）、手技習得時間に関する差異と、評価のtrajectory分析の再解析では学修プロセスの特性は既存の解析と差はみられないことが明らかとなった。自己評価と他者評価の違い、システムへの入力までのタイムラグなどが要因として考えられた。trajectory analysisの結果の学習プロセスは研修医特有のパターンがあることがわかった。また評価票の信頼性と再現性の解析ではばらつきが存在していた。その理由として、研修医と指導医も単回での評価入力であること、組み合わせによって評価にばらつきが生じることが挙げられ、複数回評価が容易になる運用の開発が必要であると考えられた。指導医へのインタビューでは、評価文言の具体化のための評価票の改訂、評価の一貫性を高めるための指導医研修の強化が望まれた。海外ePortfolioシステムとの比較では国レベルのデータベース及び、卒前卒後をシームレスに繋げるePortfolioシステムは日本独自であることが明らかとなった。

結論

本研究は臨床研修医の悉皆調査といえる研究である。今回の研究から研修医の学修プロセスのパターン、医行為習得の解析結果を基にした研修プログラムの最適化、臨床研修評価票の信頼性向上と評価の一貫性が求められていることがわかった。EPOCシステムの改修の継続と国際的評価システムへの発信、研修医と指導医の評価項目・基準等の見直しと次回臨床研修制度改訂への反映、研修プログラムの開発など、研修医教育・評価システムの質向上が期待される。

公開日・更新日

• 公開日: 2024-07-17
• 更新日: -

文献情報

• 文献番号: 202303003B
• 報告書区分: 総合
• 研究課題名: ICTを基盤とした卒前卒後のシームレスな医師の臨床教育評価システム構築のための研究
• 課題番号: 21AC1004
• 研究年度: 令和5(2023)年度
• 研究代表者(所属機関): 田中 雄二郎(国立大学法人東京医科歯科大学 )

研究分担者(所属機関)

• 山脇　正永(東京医科歯科大学　臨床医学教育開発学分野)
• 岡田　英理子(東京医科歯科大学　臨床医学教育開発学分野)
• 那波　伸敏(東京医科歯科大学　国際健康推進医学分野)
• 木内　貴弘(東京大学　医学部附属病院)
• 高橋　誠(北海道大学　大学院医学研究院)
• 福井　次矢(東京医科大学　茨城医療センター)
• 高橋　理(学校法人　聖路加国際大学　臨床疫学センター)
• 大出　幸子(学校法人　聖路加国際大学　公衆衛生大学院)

• 研究区分: 厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
• 研究開始年度: 令和3(2021)年度
• 研究終了予定年度: 令和5(2023)年度
• 研究者交替、所属機関変更: 所属機関変更 研究分担者 福井次矢 聖路加国際大学 公衆衛生大学院（令和3年4月1日〜令和3年9月30日）→東京医科大学 茨城医療センター（令和3年10月以降）

研究報告書（概要版）

研究目的

我々はICTを利用した卒前卒後のシームレスな評価システム（PG-EPOC）の開発を進めてきた。このPG−EPOCシステムは全国800施設、8000名を超える臨床研修医の全国データを収集し評価する、日本独自の ePortfolioである。本研究の目的は1) 臨床実習における侵襲的医行為の評価方法の確立、2)研究班の統計解析に用いる全国データの抽出フォーマットの新たな開発と、適切に加工して各分担者に提供すること、評価システムの機能追加と改修、3)PG-EPOCデータと外部データとの紐付けを行い、医育機関、地域、病院種類・規模・研修プログラムの種類等が評価に与える影響を分析を行うこと、4)2020年の臨床研修評価票を多角的に評価し、その内的整合性と課題を明らかにし、信頼性、再現性を検討すること、海外での電子Portfolio(ePortfolio)の使用状況について、国レベル、大学群地域での実施状況をステークホルダーにインタビュー調査も加え、ePortfolioの分析方法及びユーザビリティの国際比較を行い、継続的な評価システムの検証と改善のための整備基準を確立することである。

研究方法

EPOCシステムのデータ抽出にはプログラム開発が必要であり、各分担者のニーズに合わせて初年度よりプログラムデータ開発と改修が継続して行われた。EPOCシステムの改修も利用者からのフィードバックを基に、複数回実施された。侵襲的医行為の習得については基本的臨床手技各項目について、Kaplan-Meier法を用いて手技習得時間の差を複数回検討した。研修評価に影響を与える因子の分析班では、PG-EPOCデータと外部データの紐づけを実施し、こちらも対象人数の増加によって複数回、評価票A,B,Cの自己評価、上級医・指導医評価のtrajectory analysisを実施した。評価票の信頼性・再現性に関する検討では、評価票のA〜Cの項目の内的整合性に関して、Cronbach’s alpha解析を、評価者間の信頼性は2名の指導医の一致率をBlandman-Altman Plotを作図して、検討した。またさらに研修医評価票の項目毎にCronbach’s alphaを算出し、再現性は2名の評価者間の一致率を計算し、級内相関係数（ICC）を算出した。指導医へのインタビューの実施、指導医間の信頼性の解析、指導医と研修医の組み合わせによる評価のばらつきなどが検討された。ePortfolioの国際比較では、海外の文献調査から、海外のステークホルダーへのインタビューを通して、各国との比較を実施した。ePortfolioシステムの調査では公的と商用システムについて実施した。

結果と考察

PG-EPOC研究に必要なデータを抽出するため、抽出プログラム開発をおこなった。対象は2020年4月に研修を開始し2022年3月までの臨床研修医8,592人である。これは2020年度臨床研修医採用数9279人の93％にのぼる。基本的臨床手技の評価では、を確認した。手技によって習得に違いがみられ、入力者の違いによっても手技習得時間に影響することが明らかになった。研修医評価に影響を与える要因の分析では、研修医の評価のtrajectoryは、評価項目によっていくつかの群に分かれ、特有の異なるパターンが確認された。評価票の解析においては、評価票ⅠⅡⅢの内的整合性は高いが、指導医間の再現性にばらつきがあることが示された。また指導医による評価と研修医による自己評価の差異をもたらす項目の検討では、研修医と指導医の組み合わせにより評価にばらつきもあった。さらに、指導医インタビューにより評価票の課題と改善要望が明らかとなった。国際比較では、日本独自のEPOCシステムが評価され、特に卒前のCC-EPOC・卒後のPG-EPOCをシームレスにつなぐシステムは他国には見られない貴重な試みであることが確認された。

結論

今回の研究によって明らかにされた知見は、現在の臨床研修制度を評価する一助となるものであり、評価票や運用システムの改善へ新たな示唆を与えるものである。さらに指導医評価の教育機会の提供、効率的な運用も重要である。国際的にみても優れた特徴を持つ研修医のEPOC評価システムは、今後の臨床研修制度の改善と発展に寄与するものであり、これらのデータの活用が今後も望まれる。

公開日・更新日

• 公開日: 2024-07-17
• 更新日: -

行政効果報告

• 文献番号: 202303003C

成果

• 専門的・学術的観点からの成果: ICTを利用した卒前卒後のシームレスな評価システム（PG-EPOC）の開発と、全国の臨床研修医8000名以上が利用するPG-EPOCのデータを利用し、手技の連続的な習得、研修医の学習プロセスの違い、研修医評価票の信頼性再現性等の検討を行った。これらの研究で得られた知見は、現在の臨床研修制度を評価する一助となるものであり、評価票や運用システムの改善へ新たな示唆を与えるものである。国際的にみても優れた特徴を持つ卒前卒後のEPOC評価システムは、高い期待が寄せられた。
• 臨床的観点からの成果: PG-EPOC(E-Portfolio of Clinical training for Post Graduates)を利用した研究から、臨床研修医への効果的な指導方法の開発、指導医の評価の標準化のための学修機会の創出など、研修医の成長に効果的な方策が今後検討されることが期待される。また卒前・卒後の臨床能力評価をシームレスに繋ぐことで、今後の臨床研修医の臨床能力向上に寄与することが期待されている。
• ガイドライン等の開発: PG-EPOCの利便性、機能向上のため、利用者・分担研究者からのフィードバックを元に、システム改修を実施した。研究データ抽出のためのプログラム開発を行っている。またPG-EPOCホームページhttps://pg-epoc.umin.ac.jp では、EPOCマニュアルの作成、システム開発、FAQ、個人情報保護・研究倫理指針など利用に際しての必要情報を提供している。
• その他行政的観点からの成果: 全国の臨床研修医の調査結果は、現在の臨床研修制度を評価する一助となるものであり、今後の臨床研修制度評価票や評価項目、運用の改善へ新たな示唆を与えるものである。
• その他のインパクト: PG-EPOCホームページhttps://pg-epoc.umin.ac.jp; CC-EPOC（卒前用Clinical Clerkship-EPOC）ホームページhttps://cc-epoc.umin.ac.jp; を作成している。

発表件数

• 原著論文（和文）: 4件
• 原著論文（英文等）: 3件
• その他論文(和文): 1件
• その他論文(英文等): 0件
• 学会発表(国内学会): 6件
• 学会発表(国際学会等): 3件
• その他成果(特許の出願): 0件
• その他成果(特許の取得): 0件
• その他成果(施策への反映): 0件
• その他成果(普及・啓発活動): 2件 ; CC-EPOC全国説明会開催１件、医学教育学会シンポジウム開催１件

公開日・更新日

• 公開日: 2024-07-17
• 更新日: -

収支報告書

• 文献番号: 202303003Z