文献情報
文献番号
202503009A
報告書区分
総括
研究課題名
ICT・AI技術等を活用した看護師等国家試験問題作問システムの検討とその実装に向けた研究
研究課題名（英字）
-
課題番号
25AC1001
研究年度
令和7(2025)年度
研究代表者(所属機関)
林 直子(学校法人聖路加国際大学 大学院看護学研究科)
研究分担者(所属機関)
- 徳永 健伸(東京科学大学 情報理工学院)
- 荒瀬 由紀(東京科学大学 情報理工学院)
- 宇佐美 慧(東京大学 大学院教育学研究科)
- 佐伯 由香(人間環境大学 松山看護学部)
- 佐々木 幾美(日本赤十字看護大学 看護学部)
- 米倉 佑貴(聖路加国際大学大学院看護学研究科)
- 佐居 由美(聖路加国際大学 看護学研究科)
研究区分
厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
研究開始年度
令和7(2025)年度
研究終了予定年度
令和9(2027)年度
研究費
11,520,000円
研究者交替、所属機関変更
-
研究報告書（概要版）
研究目的
本研究は、先行研究（令和4〜6年度厚労科研：保健師助産師看護師の問題作成の支援と効率化に向けたICT・AI技術等の活用策の検討のための研究）で開発した必修問題作問システムのプロセスを応用し、一般問題向け作問システムおよび問題の校閲・出題形式（Taxonomy）を評価する校閲システムを開発・検討すること（研究1）、さらに、厚生労働省医政局看護課と協働し、試験委員によるルールブックの利用可能性や作問システムの実装可能性を評価するとともに、看護学生を対象に作問システムとテストシステムを実装・評価すること（研究2）を目的とする。研究期間は令和7～9年度の3年間である。
研究方法
初年度の2025年度は、以下の方法で研究1・研究2を実施した。
【研究1】看護師国家試験一般問題のうち出題数の多い4科目（人体の構造と機能、疾病の成り立ちと回復の促進、基礎看護学、成人看護学）を対象に作問システムを開発した。国家試験過去問640問と模試問題600問を入手し、国試過去問を用いて問題分析を行い、平均正解率や識別指数に基づき良問の基準を設定し、改善案を検討した。作問システム開発では、多様性向上のため複数のtemperature(出力の多様性レベルを示すパラメータ)を用いた生成を行い、LLM-as-a-Judgeを活用して不適切な誤答選択肢を排除・抽出した。誤答選択肢はFive-Shotとファインチューニング（SFT）の2手法により生成し、生成・排除・抽出の三機構を組み合わせて精度向上を図った。
【研究2】先行研究で作成した必修問題ルールブックを実際の国試作問会議で活用し、利用可能性を検討した。また、国内外の国家試験等におけるICT・AI活用や機密性確保に関する文献・インタビュー調査を実施し、情報収集を行った。
【研究1】看護師国家試験一般問題のうち出題数の多い4科目（人体の構造と機能、疾病の成り立ちと回復の促進、基礎看護学、成人看護学）を対象に作問システムを開発した。国家試験過去問640問と模試問題600問を入手し、国試過去問を用いて問題分析を行い、平均正解率や識別指数に基づき良問の基準を設定し、改善案を検討した。作問システム開発では、多様性向上のため複数のtemperature(出力の多様性レベルを示すパラメータ)を用いた生成を行い、LLM-as-a-Judgeを活用して不適切な誤答選択肢を排除・抽出した。誤答選択肢はFive-Shotとファインチューニング（SFT）の2手法により生成し、生成・排除・抽出の三機構を組み合わせて精度向上を図った。
【研究2】先行研究で作成した必修問題ルールブックを実際の国試作問会議で活用し、利用可能性を検討した。また、国内外の国家試験等におけるICT・AI活用や機密性確保に関する文献・インタビュー調査を実施し、情報収集を行った。
結果と考察
【研究1】看護師国家試験の一般問題4科目を対象に、AIを活用した作問システム開発を進めた。過去10年分の国家試験問題640問を分析し、平均正解率と識別指数から良問を評価した結果、正解率の閾値は50％～75％、良問率は36.5～48.7％であった。また、類似問題分析から、一般問題では必修問題のようなルール抽出が困難である可能性が示唆された。誤答選択肢生成では、国試過去問640問に加え模擬試験問題300問をデータに取り込み、temperature調整による多様な候補生成とLLM-as-a-Judgeによる不適切選択肢の除外を行い、国家試験レベルの品質を持つ誤答選択肢を自動生成できることを確認した。
【研究2】先行研究で作成した作問ルールブックを実際の国家試験委員会で活用し、作問支援や負担軽減に有効との評価を得た。一方で、情報更新の必要性も指摘された。また、国内外の国家試験におけるICT・AIやCBT活用状況を調査し、日本への適用可能性について今後検討する課題を整理した。
【研究2】先行研究で作成した作問ルールブックを実際の国家試験委員会で活用し、作問支援や負担軽減に有効との評価を得た。一方で、情報更新の必要性も指摘された。また、国内外の国家試験におけるICT・AIやCBT活用状況を調査し、日本への適用可能性について今後検討する課題を整理した。
結論
【研究1】看護師国家試験一般問題のうち出題数の多い「人体の構造と機能」「疾病の成り立ちと回復の促進」「基礎看護学」「成人看護学」の4科目を対象に、ICT・AI技術を活用した作問システムの開発を進めた。過去10年分の国家試験問題640問と模擬試験問題600問を基礎データとして収集し、正解率および識別指数を用いて問題評価基準を設定した。その結果、各科目における良問の特徴を可視化するとともに、「人体の構造と機能」「疾病の成り立ちと回復の促進」では類似問題数が少なく、必修問題のようなルール抽出が難しい可能性が示された。今後は基礎看護学、成人看護学についても分析を進め、ルールブック作成とシステムへの活用を検討する。さらに、誤答選択肢生成では、temperatureを調整して多様な候補を生成し、LLM-as-a-Judgeによる自動判定を導入することで、不適切な選択肢を除外した。その結果、実際の国家試験問題と同程度の多様性と品質を持つ誤答選択肢を自動生成できることを確認した。
【研究2】先行研究で作成した必修問題作問ルールブックを国家試験委員が実際の作問時に使用し、作問支援や負担軽減に有効であることが示された。一方で、情報量の充実や継続的な更新の必要性も指摘された。また、国内外の国家試験におけるICT・AIやCBT活用状況を整理し、日本への適用可能性の検討課題を明確化した。
【研究2】先行研究で作成した必修問題作問ルールブックを国家試験委員が実際の作問時に使用し、作問支援や負担軽減に有効であることが示された。一方で、情報量の充実や継続的な更新の必要性も指摘された。また、国内外の国家試験におけるICT・AIやCBT活用状況を整理し、日本への適用可能性の検討課題を明確化した。
公開日・更新日
公開日
-
更新日
-