文献情報
文献番号
202403001A
報告書区分
総括
研究課題名
保健師助産師看護師国家試験の問題作成の支援と効率化に向けたICT・AI技術等の活用策の検討のための研究
研究課題名（英字）
-
課題番号
22AC1003
研究年度
令和6(2024)年度
研究代表者(所属機関)
林 直子(学校法人聖路加国際大学 大学院看護学研究科)
研究分担者(所属機関)
- 徳永 健伸(東京科学大学 情報理工学院)
- 宇佐美 慧(東京大学 大学院教育学研究科)
- 佐伯 由香(人間環境大学 松山看護学部)
- 佐々木 幾美(日本赤十字看護大学 看護学部)
- 米倉 佑貴(聖路加国際大学大学院看護学研究科)
- 佐居 由美(聖路加国際大学 看護学研究科)
研究区分
厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
研究開始年度
令和4(2022)年度
研究終了予定年度
令和6(2024)年度
研究費
8,780,000円
研究者交替、所属機関変更
-
研究報告書（概要版）
研究目的
本研究は、保健師助産師看護師国家試験（以下「看護師等国家試験」）において、ICT・AI技術等を活用した具体的な作問システムの検討を検討すること(研究1)、また看護師等国家試験におけるコンピュータを活用した試験（CBT）の実装に向けて、CBTシステムの試用版を開発・試行し、試験問題の妥当性について難易度、識別指数、IRTスコア等から試験問題並びに試験システムを評価すると共に、出題形式、問題管理システム、受験者側の受容性に関する調査を行いCBT導入に向けた課題を明示すること(研究2)を目的とし、3年計画で進行した。
研究方法
2024年度は、以下の方法で研究を進めた。
【研究1】
6種類・7モデルのLLMを用い、看護師国家試験必修問題における誤答肢作成支援システムを構築した。作問者として国家試験委員経験者15人を対象とし、LLMによる誤答肢案を提示する「AIアシスト有り群」と、従来通り作問する「AIアシスト無し群」に分け、全10問の誤答肢を作成してもらった。その後、AIが生成した誤答肢案の採用率や妥当性を分析した。さらに、看護学生384人に対して模擬試験形式で問題を解答してもらい、正答率、識別指数などの指標を用いて、AI支援の有無による問題の妥当性を評価した。加えて、看護教員46人に対して、問題の質的評価に関する質問紙調査を行った。
【研究2】
CBT導入に向けた実装可能性を検討するため、看護学生384人に対し、筆記形式またはCBT形式での模擬試験を実施した。解答結果（正答率・識別指数）に加えて、受験後アンケートにより、試験中の集中度、疲労感、文字の読みやすさ、操作性、消去法やメモのしやすさなど試験形式の受容性についてデータを収集した。
【研究1】
6種類・7モデルのLLMを用い、看護師国家試験必修問題における誤答肢作成支援システムを構築した。作問者として国家試験委員経験者15人を対象とし、LLMによる誤答肢案を提示する「AIアシスト有り群」と、従来通り作問する「AIアシスト無し群」に分け、全10問の誤答肢を作成してもらった。その後、AIが生成した誤答肢案の採用率や妥当性を分析した。さらに、看護学生384人に対して模擬試験形式で問題を解答してもらい、正答率、識別指数などの指標を用いて、AI支援の有無による問題の妥当性を評価した。加えて、看護教員46人に対して、問題の質的評価に関する質問紙調査を行った。
【研究2】
CBT導入に向けた実装可能性を検討するため、看護学生384人に対し、筆記形式またはCBT形式での模擬試験を実施した。解答結果（正答率・識別指数）に加えて、受験後アンケートにより、試験中の集中度、疲労感、文字の読みやすさ、操作性、消去法やメモのしやすさなど試験形式の受容性についてデータを収集した。
結果と考察
【研究1】
LLMによって生成された誤答肢案102個のうち、48個（47％）が作問者によりそのまま採用され、さらに22個が「妥当ではあるが採用しなかった」と判断されたことから、全体の約69％が妥当だと判断された。また、採用された誤答肢案のうち11個（22％）は、AIアシスト無し群の作問者と同じ内容であり、LLMが生成した誤答肢の内容が人間の専門家の思考と同等の水準に達している可能性が示唆された。加えて、AIアシスト有り群は、作問に要する時間が短縮され、負担が軽減されるなどの利点が確認され、「自由な発想は阻害されなかった」「ブレーンストーミングに有効だった」といった肯定的な意見も多く得られた。模擬試験の結果では、AIアシストの有無による得点率や識別指数に大きな差はなく、教育的にLLMによる誤答肢作成が実用可能であることが示された。教員の評価では、多くのAIアシスト有り問題がAIアシスト無し問題と同等の質と判断され、「薬理作用」「看護活動の場と機能」など一部分野でLLMによる支援の有用性が高いことが示された。一方で、「社会保障」「看護技術」などの分野ではLLMの適用に限界がある可能性も示唆された。
【研究2】
試験形式の比較では、正答率に有意差は認められなかったが、CBT群は疲労感が有意に低かった（p＝0.005）。一方解答への集中のしやすさ（p＝0.001）、文字の読みやすさ（p＝0.002）、時間配分のしやすさ、消去法のしやすさ、メモの取りやすさなど、解答のしやすさについては全項目で筆記試験群の評価が有意に高かった（p<0.001）。これにより、CBT導入に際しては、消去法やメモなど筆記試験と同様の機能を使用可能にするとともに、受験者がシステムに習熟する機会を確保することの重要性が示唆された。
LLMによって生成された誤答肢案102個のうち、48個（47％）が作問者によりそのまま採用され、さらに22個が「妥当ではあるが採用しなかった」と判断されたことから、全体の約69％が妥当だと判断された。また、採用された誤答肢案のうち11個（22％）は、AIアシスト無し群の作問者と同じ内容であり、LLMが生成した誤答肢の内容が人間の専門家の思考と同等の水準に達している可能性が示唆された。加えて、AIアシスト有り群は、作問に要する時間が短縮され、負担が軽減されるなどの利点が確認され、「自由な発想は阻害されなかった」「ブレーンストーミングに有効だった」といった肯定的な意見も多く得られた。模擬試験の結果では、AIアシストの有無による得点率や識別指数に大きな差はなく、教育的にLLMによる誤答肢作成が実用可能であることが示された。教員の評価では、多くのAIアシスト有り問題がAIアシスト無し問題と同等の質と判断され、「薬理作用」「看護活動の場と機能」など一部分野でLLMによる支援の有用性が高いことが示された。一方で、「社会保障」「看護技術」などの分野ではLLMの適用に限界がある可能性も示唆された。
【研究2】
試験形式の比較では、正答率に有意差は認められなかったが、CBT群は疲労感が有意に低かった（p＝0.005）。一方解答への集中のしやすさ（p＝0.001）、文字の読みやすさ（p＝0.002）、時間配分のしやすさ、消去法のしやすさ、メモの取りやすさなど、解答のしやすさについては全項目で筆記試験群の評価が有意に高かった（p<0.001）。これにより、CBT導入に際しては、消去法やメモなど筆記試験と同様の機能を使用可能にするとともに、受験者がシステムに習熟する機会を確保することの重要性が示唆された。
結論
【研究1】では、6種類・7モデルの大規模言語モデル（LLM）を活用し、看護師国家試験の必修問題における誤答肢作成支援システムを開発した。国試委員経験者15人を対象に、LLMが生成した誤答肢案を提示する群（AIアシスト有り）と、提示しない群（AIアシスト無し）に分けて比較した結果、一部の誤答肢案は専門家と同等の質を有し、作問の効率化にも寄与することが示された。さらに、看護学生386人に模擬試験を実施し、AIアシストの有無による正答率や識別指数に有意な差はなく、教員46人による質的評価でも、AIアシストによる誤答肢はAIアシスト無しの誤答肢と遜色ないと判断された。【研究2】では、同じ学生を対象にCBT形式と筆記形式の2群に分けて模擬試験を実施し、解答状況や受容性を比較した。その結果、正答率と識別指数において両群に差はなく、CBT群は疲労感が有意に低かった。一方、集中のしやすさ、文字の読みやすさ、時間配分やメモ、消去法のしやすさは筆記試験群の方が高く評価された。
公開日・更新日
公開日
2025-06-10
更新日
-