文献情報
文献番号
202303006A
報告書区分
総括
研究課題名
保健師助産師看護師国家試験の問題作成の支援と効率化に向けたICT・AI技術等の活用策の検討のための研究
研究課題名（英字）
-
課題番号
22AC1003
研究年度
令和5(2023)年度
研究代表者(所属機関)
林 直子(学校法人聖路加国際大学 大学院看護学研究科)
研究分担者(所属機関)
- 徳永 健伸(東京工業大学 情報理工学院)
- 宇佐美 慧(東京大学 大学院教育学研究科)
- 佐伯 由香(愛媛大学 大学院医学系研究科看護学専攻)
- 佐々木 幾美(日本赤十字看護大学 看護学部 看護学科)
- 米倉 佑貴(聖路加国際大学大学院看護学研究科)
- 佐居 由美(聖路加国際大学 看護学研究科)
研究区分
厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
研究開始年度
令和4(2022)年度
研究終了予定年度
令和6(2024)年度
研究費
11,520,000円
研究者交替、所属機関変更
-
研究報告書（概要版）
研究目的
本研究は、保健師助産師看護師国家試験（以下「看護師等国家試験」）において、ICT・AI技術等を活用した具体的な作問システムの検討を検討すること(研究1)、また看護師等国家試験におけるコンピュータを活用した試験（CBT）の実装に向けて、CBTシステムの試用版を開発・試行し、試験問題の妥当性について難易度、識別指数、IRTスコア等から試験問題並びに試験システムを評価すると共に、出題形式、問題管理システム、受験者側の受容性に関する調査を行いCBT導入に向けた課題を明示すること(研究2)を目的とする。本研究は、3年計画で進行する。
研究方法
2年目の2023年度は、以下の方法で研究1、研究2を行った。
【研究１】
前年度の研究成果をもとに、過去10年分の看護師国家試験問題の必修問題500問について問題分析を行った。問題分析では研究者4名で過去問の改善提案を作成し、さらに内容分析を行なった（ルールブック作成）。
また大規模事前学習済み言語モデルを活用し、問題、正解、看護学の標準的な教科書からのテキストの3種類の情報をプロンプトとして与えて作問し、その問題を専門家が評価した。その結果から誤答選択肢の生成に焦点を当てることとし、3種類の大規模言語モデル（ChatGPT3.5、ChatGPT4、JSLM）に基づく4つの作問システム（gpt4、gpt3.5-few shot learning、gpt3.5-Fine Tuning、JSLM）を用いて試験的作問を行い、専門家による問題評価と各モデルの生成性能を評価するための自動評価指標の作成を目指した（作問システム開発）。
【研究２】
研究2では、看護系大学と看護専門学校計３校の学生27名を対象に、10問の問題をCBTシステムと筆記試験の双方で解答し、CBTシステムの導入の可能性に関するフォーカスグループインタビュー調査を実施した。また看護教員17名を対象に、看護師国家試験へのCBT導入の可能性に関するインタビュー調査を行った。
【研究１】
前年度の研究成果をもとに、過去10年分の看護師国家試験問題の必修問題500問について問題分析を行った。問題分析では研究者4名で過去問の改善提案を作成し、さらに内容分析を行なった（ルールブック作成）。
また大規模事前学習済み言語モデルを活用し、問題、正解、看護学の標準的な教科書からのテキストの3種類の情報をプロンプトとして与えて作問し、その問題を専門家が評価した。その結果から誤答選択肢の生成に焦点を当てることとし、3種類の大規模言語モデル（ChatGPT3.5、ChatGPT4、JSLM）に基づく4つの作問システム（gpt4、gpt3.5-few shot learning、gpt3.5-Fine Tuning、JSLM）を用いて試験的作問を行い、専門家による問題評価と各モデルの生成性能を評価するための自動評価指標の作成を目指した（作問システム開発）。
【研究２】
研究2では、看護系大学と看護専門学校計３校の学生27名を対象に、10問の問題をCBTシステムと筆記試験の双方で解答し、CBTシステムの導入の可能性に関するフォーカスグループインタビュー調査を実施した。また看護教員17名を対象に、看護師国家試験へのCBT導入の可能性に関するインタビュー調査を行った。
結果と考察
【研究１】
過去問題の分析の結果、良問作成に向けた258の改善提案が提示された。さらに改善提案の内容を分析・統合した結果、200の小項目に対して147のルールが抽出された。抽出されたルールは研究協力者、分担者のうち看護師国家試験委員の経験者による妥当性評価を経て最終版を確定した。また大規模言語モデルの活用可能性の検討の結果、gpt3.5-FTが他と比べて再現性、精度の評価指標値が良いことが示された。今後は国試模試問題を含めさらなる過去問題データを投入してFine-Tuningを実施すること、また問題分析の結果抽出されたルールをプロンプトとして活用することで作問の質を高めることが課題である。
【研究２】
看護学生を対象とした調査の結果、10問のサンプル問題の正答状況についてCBT、筆記試験で正答率に大きな違いはみられなかった。音声、動画を取り入れたマルチメディア問題については、CBTの方が状況を理解しやすい、とする一方で必要な情報を得るにはCBTの方が筆記試験より時間がかかる、としていた。このようなマルチメディア問題が出題されることで、学習上あるいは試験対策上より臨床に活かせる学習ができる、と回答していた。学生、教員ともに看護師国試へのCBT導入の受容性が示されたが、一方でCBTの実施に向けた教員側の意識改革などの課題も明らかとなった。
過去問題の分析の結果、良問作成に向けた258の改善提案が提示された。さらに改善提案の内容を分析・統合した結果、200の小項目に対して147のルールが抽出された。抽出されたルールは研究協力者、分担者のうち看護師国家試験委員の経験者による妥当性評価を経て最終版を確定した。また大規模言語モデルの活用可能性の検討の結果、gpt3.5-FTが他と比べて再現性、精度の評価指標値が良いことが示された。今後は国試模試問題を含めさらなる過去問題データを投入してFine-Tuningを実施すること、また問題分析の結果抽出されたルールをプロンプトとして活用することで作問の質を高めることが課題である。
【研究２】
看護学生を対象とした調査の結果、10問のサンプル問題の正答状況についてCBT、筆記試験で正答率に大きな違いはみられなかった。音声、動画を取り入れたマルチメディア問題については、CBTの方が状況を理解しやすい、とする一方で必要な情報を得るにはCBTの方が筆記試験より時間がかかる、としていた。このようなマルチメディア問題が出題されることで、学習上あるいは試験対策上より臨床に活かせる学習ができる、と回答していた。学生、教員ともに看護師国試へのCBT導入の受容性が示されたが、一方でCBTの実施に向けた教員側の意識改革などの課題も明らかとなった。
結論
【研究１】
看護師国家試験の過去10年分の必修問題（500問）の分析結果を統合した、「作問に向けた改善提案（ルールブック）」の作成と、3種類の大規模言語モデルによる4つの作問システム（gpt4、gpt3.5-few shot learning、gpt3.5-FT、JSLM）を用いた試験的作問を行い、専門家による問題評価と各モデルの生成性能を評価するための自動評価指標の作成を試みた。その結果、258の改善提案が提示され、提案内容のさらなる分析の結果、200の小項目に対して147のルールが抽出された。また大規模言語モデルの活用可能性の検討の結果、gpt3.5-FTが他と比べて再現性、精度の評価指標値が良いことが示された。
【研究２】
国内の看護系大学、看護専門学校の学生、看護教員を対象に、看護師等国家試験のCBT化に対する準備状況や課題について調査を行った。看護師国試のCBT化に対する教員の評価は概ね好意的であったが、複数受験が可能になることなどのCBT化のメリットを享受するために必要な問題プールの構築に関しては時間をかけて理解を得ていく必要があると考えられた。学生のCBTの受容性に関しては、コロナ禍を経て推進されたオンライン教育、シミュレーション教育の結果、CBTの試験形式やマルチメディアを活用した問題に対応する基礎的能力は備わっていると考えられた。
看護師国家試験の過去10年分の必修問題（500問）の分析結果を統合した、「作問に向けた改善提案（ルールブック）」の作成と、3種類の大規模言語モデルによる4つの作問システム（gpt4、gpt3.5-few shot learning、gpt3.5-FT、JSLM）を用いた試験的作問を行い、専門家による問題評価と各モデルの生成性能を評価するための自動評価指標の作成を試みた。その結果、258の改善提案が提示され、提案内容のさらなる分析の結果、200の小項目に対して147のルールが抽出された。また大規模言語モデルの活用可能性の検討の結果、gpt3.5-FTが他と比べて再現性、精度の評価指標値が良いことが示された。
【研究２】
国内の看護系大学、看護専門学校の学生、看護教員を対象に、看護師等国家試験のCBT化に対する準備状況や課題について調査を行った。看護師国試のCBT化に対する教員の評価は概ね好意的であったが、複数受験が可能になることなどのCBT化のメリットを享受するために必要な問題プールの構築に関しては時間をかけて理解を得ていく必要があると考えられた。学生のCBTの受容性に関しては、コロナ禍を経て推進されたオンライン教育、シミュレーション教育の結果、CBTの試験形式やマルチメディアを活用した問題に対応する基礎的能力は備わっていると考えられた。
公開日・更新日
公開日
2024-07-17
更新日
2025-05-02