文献情報
文献番号
202203016A
報告書区分
総括
研究課題名
保健師助産師看護師国家試験の問題作成の支援と効率化に向けたICT・AI技術等の活用策の検討のための研究
課題番号
22AC1003
研究年度
令和4(2022)年度
研究代表者(所属機関)
林 直子(学校法人聖路加国際大学 大学院看護学研究科)
研究分担者(所属機関)
- 徳永 健伸(東京工業大学 情報理工学院)
- 宇佐美 慧(東京大学 大学院教育学研究科)
- 佐伯 由香(愛媛大学 大学院医学系研究科看護学専攻)
- 佐々木 幾美(日本赤十字看護大学 看護学部 看護学科)
- 米倉 佑貴(聖路加国際大学大学院看護学研究科)
- 佐居 由美(聖路加国際大学 看護学研究科)
研究区分
厚生労働科学研究費補助金 行政政策研究分野 政策科学総合研究（臨床研究等ＩＣＴ基盤構築・人工知能実装研究）
研究開始年度
令和4(2022)年度
研究終了予定年度
令和6(2024)年度
研究費
11,420,000円
研究者交替、所属機関変更
-
研究報告書（概要版）
研究目的
本研究は、看護師等国家試験において、ICT・AI技術等を活用した具体的な作問システムの検討を検討すること(研究1)、また看護師等国家試験におけるコンピュータを活用した試験（CBT）の実装に向けて、CBTシステムの試用版を開発・試行し、試験問題の妥当性について難易度、識別指数、IRTスコア等から試験問題並びに試験システムを評価すると共に、出題形式、問題管理システム、受験者側の受容性に関する調査を行いCBT導入に向けた課題を明示すること(研究2)を目的とする。本研究は、3年計画で進行する。
研究方法
初年度の2022年度は、以下の方法で研究1、研究2を行った。
【研究１】
過去10年分の看護師国試必修問題を対象として、先行研究（令和元年度厚労科研林班）で示された基準に則り、正答率、識別指数等から過去問題を「良問」と「要改善問題」に分類し、問題文と選択肢をデータとして計量テキスト分析を行い、共起ネットワーク、抽出語を比較し、「良問」に特徴的なルールを試みた。次に、正答率、識別指数を元に良問と要改善問題の評価基準を再設定し、分類結果を元に、出題基準の小項目ごとに良問と要改善問題の比較を行い、良問の特徴（良問ルール）を抽出した。また、看護テキストデータベースを構築するとともに、既存の作問システムを検討し、様々なパターンのプロンプト（指示文）を設定して作問の可能性を評価した。
【研究２】
国家試験等の過去問、看護系大学共用試験CBTの実用化と教育カリキュラムに関する先行研究も参照し、画像や音声を取り入れた問題プールを構築することとした。問題数は、実地出題数の5倍の250問を目安とした。また、看護学生と看護教員各20名程度を対象に、コンピュータ活用状況、国家試験のCBT化に対する意向、CBT導入への準備等を半構造化インタビューで問い、質的内容分析を行うこととして、研究者所属機関の研究倫理審査委員会の承認を得た。CBTシステムとして、既存のテストシステムを検討した。
【研究１】
過去10年分の看護師国試必修問題を対象として、先行研究（令和元年度厚労科研林班）で示された基準に則り、正答率、識別指数等から過去問題を「良問」と「要改善問題」に分類し、問題文と選択肢をデータとして計量テキスト分析を行い、共起ネットワーク、抽出語を比較し、「良問」に特徴的なルールを試みた。次に、正答率、識別指数を元に良問と要改善問題の評価基準を再設定し、分類結果を元に、出題基準の小項目ごとに良問と要改善問題の比較を行い、良問の特徴（良問ルール）を抽出した。また、看護テキストデータベースを構築するとともに、既存の作問システムを検討し、様々なパターンのプロンプト（指示文）を設定して作問の可能性を評価した。
【研究２】
国家試験等の過去問、看護系大学共用試験CBTの実用化と教育カリキュラムに関する先行研究も参照し、画像や音声を取り入れた問題プールを構築することとした。問題数は、実地出題数の5倍の250問を目安とした。また、看護学生と看護教員各20名程度を対象に、コンピュータ活用状況、国家試験のCBT化に対する意向、CBT導入への準備等を半構造化インタビューで問い、質的内容分析を行うこととして、研究者所属機関の研究倫理審査委員会の承認を得た。CBTシステムとして、既存のテストシステムを検討した。
結果と考察
【研究１】
計量テキスト分析では、結果の共起ネットワークから良問に特徴的なルールを抽出することが困難であった。これは、必修問題が広範囲に渡り、各出題項目に関する問題数並びにテキストデータが限られるため、共起語の抽出に限界があることが要因として考えられた。また、分析対象500問すべての正答率・識別指数をプロットした結果、「良問」とその他の問題（易しすぎた問題、良問だが難問、あまり適切ではない問題、いずれにも該当しない問題）の5つに区分することが可能であった。この基準に基づき、出題基準項目ごとに類題を丹念に比較することで、良問とそれ以外の問題の相違点を見出すことが可能となり、ルールブック作成へと繋がると考えられた。作問システムについては、事前学習済み言語モデルとしてChatGPTを活用し、様々なパターンのプロンプトを設定し作問の可能性を検討した結果、技術的には作問可能であることが示された。一方で限界の検証は必要であり、今後他の事前学習済みモデルを使用し、構築中の看護分野のテキストデータを与えて更にfine-tuningをすることが必要である。
【研究２】
今年度は問題プールの構築に向けて、看護師国家試験の模擬試験問題500問を収集した。また、動画や音声を活用した問題の作成にも着手し、CBTシステムの試験的運用に向けた準備は、予定通り進行した。CBT実装可能性の検討に向けた調査では、想定するCBTの出題形式を定義し、サンプル問題を作成した。またインタビュー調査に向けて研究計画書、説明文書、インタビューガイドを作成し、研究倫理審査委員会の承認を得た。次年度のインタビュー調査、ならびにCBTの試験的実施と評価に向けた環境調整を行った。
計量テキスト分析では、結果の共起ネットワークから良問に特徴的なルールを抽出することが困難であった。これは、必修問題が広範囲に渡り、各出題項目に関する問題数並びにテキストデータが限られるため、共起語の抽出に限界があることが要因として考えられた。また、分析対象500問すべての正答率・識別指数をプロットした結果、「良問」とその他の問題（易しすぎた問題、良問だが難問、あまり適切ではない問題、いずれにも該当しない問題）の5つに区分することが可能であった。この基準に基づき、出題基準項目ごとに類題を丹念に比較することで、良問とそれ以外の問題の相違点を見出すことが可能となり、ルールブック作成へと繋がると考えられた。作問システムについては、事前学習済み言語モデルとしてChatGPTを活用し、様々なパターンのプロンプトを設定し作問の可能性を検討した結果、技術的には作問可能であることが示された。一方で限界の検証は必要であり、今後他の事前学習済みモデルを使用し、構築中の看護分野のテキストデータを与えて更にfine-tuningをすることが必要である。
【研究２】
今年度は問題プールの構築に向けて、看護師国家試験の模擬試験問題500問を収集した。また、動画や音声を活用した問題の作成にも着手し、CBTシステムの試験的運用に向けた準備は、予定通り進行した。CBT実装可能性の検討に向けた調査では、想定するCBTの出題形式を定義し、サンプル問題を作成した。またインタビュー調査に向けて研究計画書、説明文書、インタビューガイドを作成し、研究倫理審査委員会の承認を得た。次年度のインタビュー調査、ならびにCBTの試験的実施と評価に向けた環境調整を行った。
結論
研究１では、看護師国試必修問題を正当率・識別指数に基づき5区分の評価に分類し、問題の現状と課題を提示した。これは国家試験の定量的評価に繋がるものと考える。また作成した問題評価を軸に問題分析を行ったことで、小項目単位での良問のルールを抽出することが可能となり、今後の国家試験作問に向けた作問ルールブックとして即利用可能な資料の作成に繋がると考える。また、既存の大規模事前学習済み言語モデルを試用して作問を試みたことで、今後の作問システム開発への示唆を得た。
また研究2では、CBTシステムの試験運用に向けた問題収集・作成とCBT実装可能性の検討に向けたインタビュー調査の実施準備を行った。試験運用に向けた問題は500問収集でき、動画や音声等のマルチメディアを活用した問題の作成にも着手した。インタビュー調査は、新年度から調査開始の運びとなった。
また研究2では、CBTシステムの試験運用に向けた問題収集・作成とCBT実装可能性の検討に向けたインタビュー調査の実施準備を行った。試験運用に向けた問題は500問収集でき、動画や音声等のマルチメディアを活用した問題の作成にも着手した。インタビュー調査は、新年度から調査開始の運びとなった。
公開日・更新日
公開日
2023-06-13
更新日
-