保健師助産師看護師国家試験の問題作成の支援と効率化に向けたICT・AI技術等の活用策の検討のための研究

文献情報

• 文献番号: 202403001A
• 報告書区分: 総括
• 研究課題名: 保健師助産師看護師国家試験の問題作成の支援と効率化に向けたICT・AI技術等の活用策の検討のための研究
• 研究課題名（英字）: -
• 課題番号: 22AC1003
• 研究年度: 令和6(2024)年度
• 研究代表者(所属機関): 林 直子(学校法人聖路加国際大学 大学院看護学研究科)

研究分担者(所属機関)

• 徳永　健伸(東京科学大学　情報理工学院)
• 宇佐美　慧(東京大学　大学院教育学研究科)
• 佐伯　由香(人間環境大学　松山看護学部)
• 佐々木　幾美(日本赤十字看護大学　看護学部)
• 米倉　佑貴(聖路加国際大学大学院看護学研究科)
• 佐居　由美(聖路加国際大学　看護学研究科)

• 研究区分: 厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
• 研究開始年度: 令和4(2022)年度
• 研究終了予定年度: 令和6(2024)年度
• 研究費: 8,780,000円
• 研究者交替、所属機関変更: -

研究報告書（概要版）

研究目的

本研究は、保健師助産師看護師国家試験（以下「看護師等国家試験」）において、ICT・AI技術等を活用した具体的な作問システムの検討を検討すること(研究1)、また看護師等国家試験におけるコンピュータを活用した試験（CBT）の実装に向けて、CBTシステムの試用版を開発・試行し、試験問題の妥当性について難易度、識別指数、IRTスコア等から試験問題並びに試験システムを評価すると共に、出題形式、問題管理システム、受験者側の受容性に関する調査を行いCBT導入に向けた課題を明示すること(研究2)を目的とし、3年計画で進行した。

研究方法

2024年度は、以下の方法で研究を進めた。
【研究1】
6種類・7モデルのLLMを用い、看護師国家試験必修問題における誤答肢作成支援システムを構築した。作問者として国家試験委員経験者15人を対象とし、LLMによる誤答肢案を提示する「AIアシスト有り群」と、従来通り作問する「AIアシスト無し群」に分け、全10問の誤答肢を作成してもらった。その後、AIが生成した誤答肢案の採用率や妥当性を分析した。さらに、看護学生384人に対して模擬試験形式で問題を解答してもらい、正答率、識別指数などの指標を用いて、AI支援の有無による問題の妥当性を評価した。加えて、看護教員46人に対して、問題の質的評価に関する質問紙調査を行った。
【研究2】
CBT導入に向けた実装可能性を検討するため、看護学生384人に対し、筆記形式またはCBT形式での模擬試験を実施した。解答結果（正答率・識別指数）に加えて、受験後アンケートにより、試験中の集中度、疲労感、文字の読みやすさ、操作性、消去法やメモのしやすさなど試験形式の受容性についてデータを収集した。

結果と考察

【研究1】
LLMによって生成された誤答肢案102個のうち、48個（47％）が作問者によりそのまま採用され、さらに22個が「妥当ではあるが採用しなかった」と判断されたことから、全体の約69％が妥当だと判断された。また、採用された誤答肢案のうち11個（22％）は、AIアシスト無し群の作問者と同じ内容であり、LLMが生成した誤答肢の内容が人間の専門家の思考と同等の水準に達している可能性が示唆された。加えて、AIアシスト有り群は、作問に要する時間が短縮され、負担が軽減されるなどの利点が確認され、「自由な発想は阻害されなかった」「ブレーンストーミングに有効だった」といった肯定的な意見も多く得られた。模擬試験の結果では、AIアシストの有無による得点率や識別指数に大きな差はなく、教育的にLLMによる誤答肢作成が実用可能であることが示された。教員の評価では、多くのAIアシスト有り問題がAIアシスト無し問題と同等の質と判断され、「薬理作用」「看護活動の場と機能」など一部分野でLLMによる支援の有用性が高いことが示された。一方で、「社会保障」「看護技術」などの分野ではLLMの適用に限界がある可能性も示唆された。

【研究2】
試験形式の比較では、正答率に有意差は認められなかったが、CBT群は疲労感が有意に低かった（p＝0.005）。一方解答への集中のしやすさ（p＝0.001）、文字の読みやすさ（p＝0.002）、時間配分のしやすさ、消去法のしやすさ、メモの取りやすさなど、解答のしやすさについては全項目で筆記試験群の評価が有意に高かった（p<0.001）。これにより、CBT導入に際しては、消去法やメモなど筆記試験と同様の機能を使用可能にするとともに、受験者がシステムに習熟する機会を確保することの重要性が示唆された。

結論

【研究1】では、6種類・7モデルの大規模言語モデル（LLM）を活用し、看護師国家試験の必修問題における誤答肢作成支援システムを開発した。国試委員経験者15人を対象に、LLMが生成した誤答肢案を提示する群（AIアシスト有り）と、提示しない群（AIアシスト無し）に分けて比較した結果、一部の誤答肢案は専門家と同等の質を有し、作問の効率化にも寄与することが示された。さらに、看護学生386人に模擬試験を実施し、AIアシストの有無による正答率や識別指数に有意な差はなく、教員46人による質的評価でも、AIアシストによる誤答肢はAIアシスト無しの誤答肢と遜色ないと判断された。【研究2】では、同じ学生を対象にCBT形式と筆記形式の2群に分けて模擬試験を実施し、解答状況や受容性を比較した。その結果、正答率と識別指数において両群に差はなく、CBT群は疲労感が有意に低かった。一方、集中のしやすさ、文字の読みやすさ、時間配分やメモ、消去法のしやすさは筆記試験群の方が高く評価された。

公開日・更新日

• 公開日: 2025-06-10
• 更新日: -

文献情報

• 文献番号: 202403001B
• 報告書区分: 総合
• 研究課題名: 保健師助産師看護師国家試験の問題作成の支援と効率化に向けたICT・AI技術等の活用策の検討のための研究
• 研究課題名（英字）: -
• 課題番号: 22AC1003
• 研究年度: 令和6(2024)年度
• 研究代表者(所属機関): 林 直子(学校法人聖路加国際大学 大学院看護学研究科)

研究分担者(所属機関)

• 徳永　健伸(東京科学大学　情報理工学院)
• 宇佐美　慧(東京大学　大学院教育学研究科)
• 佐伯　由香(人間環境大学　松山看護学部)
• 佐々木　幾美(日本赤十字看護大学　看護学部)
• 米倉　佑貴(聖路加国際大学大学院看護学研究科)
• 佐居　由美(聖路加国際大学　看護学研究科)

• 研究区分: 厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
• 研究開始年度: 令和4(2022)年度
• 研究終了予定年度: 令和6(2024)年度
• 研究者交替、所属機関変更: -

研究報告書（概要版）

研究目的

本研究は、看護師等国家試験において、ICT・AI技術等を活用した具体的な作問システムを検討すること(研究1)、また看護師等国家試験におけるコンピュータを活用した試験（CBT）の実装に向けて、CBTシステムの試用版を開発・試行し、試験問題の妥当性について正答率、識別指数、IRTスコア等から評価すると共に、出題形式、問題管理システム、受験者側の受容性に関する調査を行いCBT導入に向けた課題を明示すること(研究2)を目的とし、3年計画で遂行した。

研究方法

【研究1】初年度は、過去10年分の看護師国家試験必修問題を対象に、正答率や識別指数を基に「良問」と「要改善問題」に分類し、計量テキスト分析や共起ネットワークを用いて、良問に共通する特徴（良問ルール）を抽出した。2年目は、良問ルールを踏まえた500問の問題分析を研究者が行い、改善提案を作成。さらに大規模言語モデル（LLM）を活用して問題を生成し、質を評価した。最終年度には、6種7モデルのLLMを用いた誤答肢作成支援システムを構築し、看護国試試験委員経験者による評価、看護学生384人による模擬試験、教員46人への質問紙調査を通じ、LLM活用の有効性を検証した。
【研究2】初年度は、CBT化を見据えた画像・音声付き問題プールを作成し、学生・教員へのインタビュー調査も実施。2年目は、看護学生27人をCBTと筆記の2群に割り付け10問の解答を依頼し、CBT導入に関する意見を収集した。最終年度は、学生384人を対象に模擬試験を実施し、正答率や操作性、集中度、疲労感などからCBT形式の受容性と実装可能性を評価した。

結果と考察

【研究1】初年度は、看護師国試必修問題500問について良問と要改善問題に分類し計量テキスト分析を実施したが、共起ネットワークから良問の特徴の抽出が困難だった。一方、全500問の出題領域ごとに内容分析を行い、良問作成の作問ルールブックの基礎データとした。また、ChatGPTを活用し、複数のプロンプトを設定して試験的作問を実施、技術的な可能性を確認した。2年目は、内容分析の結果に基づき良問作成のための147のルールを抽出し作問ルールブックを作成した。また、複数のLLMを比較した結果、GPT3.5-FTが最も再現性と精度に優れていたことが明らかとなった。最終年度は、7モデルのLLMを用いて誤答肢102個を生成、このうち約47％が誤答肢として作問対象者に採用され、非採用問題も含め69％が誤答肢として妥当と判断された。またLLMによる作問支援は、作問者の負担軽減に有効であることが示された。さらに学生384人を対象とした調査の結果、LLM支援の有無（AIアシストの有無）による問題の正答率、識別指数の差は認められず、教員46人による問題の質評価の結果からもAIアシスト有り問題はアシスト無し問題と遜色がないことが示された。
【研究2】初年度は、必修模試問題500問の収集を開始、音声動画入り問題も作成した。2年目の看護学生対象調査ではCBTと筆記の違いによる正答率の差はみられなかった。音声動画問題についてはCBTの有用性が示された一方、情報把握に時間を要するとの意見もあった。最終年度には、384人の看護学生を対象にCBT群と筆記群に割付けて模擬試験を実施、その結果両群で正答率、識別指数に有意差はなかった。CBT形式では疲労感が有意に低く、文字の読みやすさやメモのしやすさ等は筆記形式が優れていた。CBT導入に際しては、筆記形式と同等の操作性の確保や、学生が事前にシステムに慣れる機会を設けることが重要であることが示唆された。

結論

【研究1】初年度は看護師国家試験の必修問題500問を正答率と識別指数に基づき良問と要改善問題に分類し、良問の特徴を分析して作問ルールブックの基盤を築いた。また、LLMを用いた作問の可能性も検討した。2年目には前年度の内容分析の結果から258件の改善提案と147の作問ルールを抽出。複数のLLMを試験運用し、GPT3.5-FTが最も再現性と精度に優れることを確認した。最終年度はLLMによる誤答肢作成支援システムを構築、学生384人を対象とした模擬試験と教員46人による問題の質評価結果から、AI支援による作問が質・効率の両面で有用であることが示唆された。
【研究2】初年度は、CBT実装に向けて必修模試問題500問収集を開始し、音声動画問題の作成やインタビュー調査の準備を進めた。2年目は学生27人と教員17人を対象にCBTの受容性や課題を調査、学生のCBT対応力が備わっていることが確認された。最終年度は看護学生384人を対象にCBTと筆記の2群に割り付けて模擬試験を実施、両群で正答率・識別指数に差はなかったが、CBTは疲労感が低く、筆記形式は解答操作のしやすさで優れるなど、それぞれの特徴が明らかとなった。

公開日・更新日

• 公開日: 2025-06-10
• 更新日: -

行政効果報告

• 文献番号: 202403001C

収支報告書

• 文献番号: 202403001Z