文献情報
文献番号
200300084A
報告書区分
総括
研究課題名
国際的観点からみた保健医療分野における研究パフォーマンス評価に関する研究(総括研究報告書)
課題番号
-
研究年度
平成15(2003)年度
研究代表者(所属機関)
林 謙治(国立保健医療科学院)
研究分担者(所属機関)
- 小山秀夫(国立保健医療科学院)
- 曽根智史(国立保健医療科学院)
- 緒方裕光(国立保健医療科学院)
- 西村秋生(名古屋大学大学院)
- 伊藤弘人(国立保健医療科学院)
研究区分
厚生労働科学研究費補助金 行政政策研究分野 厚生労働科学特別研究
研究開始年度
平成15(2003)年度
研究終了予定年度
-
研究費
15,000,000円
研究者交替、所属機関変更
-
研究報告書（概要版）
研究目的
本研究の目的は、厚生労働省の保健医療分野の調査研究や技術開発に関し求められる評価分析機能を明らかにすることである。国費を使う研究開発制度(競争的研究資金制度)には、制度による研究成果等を把握・評価して、その結果を広く公表していくことが必須である。国民の理解を得るためには、研究の意義や有用性を可能な限り客観化したり優れた事例を用いたりして、結果(研究パフォーマンス)を説明することが求められている。そのためには制度内の評価分析機能を強化する必要がある。科学技術基本法に基づき策定された第2期科学技術基本計画(平成13年3月)において、競争的研究資金の拡充が図られる中、その一層の効果的・効率的な実施が求められている。総合科学技術会議においては、平成15年に入り研究評価の現状と課題の検討が始められている。厚生労働省はこの動向に積極的に対応し、厚生科学審議会科学技術部会から「厚生労働科学研究費補助金の成果の評価」(平成14年度報告書)が平成15年5月に公表されている。その結果、厚生労働科学研究は、学術的に成果が高い研究事業、特許等の成果が上げられている事業、および行政的な成果が上げられている事業があり、一定の成果が得られていることが明らかになった。しかし、さらに効率的で透明性が高い制度とするために引き続き検討が必要である。本研究では、海外・国際機関における研究パフォーマンス評価の内容、および保健医療福祉分野におけるわが国の研究パフォーマンスの現状を把握し、国民への適切な説明のために保健医療分野の行政に求められる「評価分析機能」を総合的に考察する.
研究方法
1. 海外・国際機関の研究パフォーマンス評価
関連資料の収集や関係者への面接を通して、研究費助成システム・規模、研究評価の方法、研究パフォーマンスの現状などを調査した。具体的には、(1)米国の医学・公衆衛生学研究者を対象にした、米国国立健康研究所(NIH)のグラント審査システムおよび研究の事後評価に適した指標に関する意見の聴取、(2)世界保健機関(WHO)および欧州連合(EU)の、保健医療問題に関して構築されている包括的な研究システムの実情調査、(3)経済協力開発機構(OECD)における研究プロジェクトの予算配分および流れに関する聞き取り調査、および(4)英国の研究評価に関する既存資料の収集・整理および専門家へのインタビューを実施した。
2. 保健医療福祉分野におけるわが国の研究パフォーマンスの現状
研究パフォーマンスに関する評価指標の有用性の検討に資することを目的とし、(1)評価に広く用いられている引用分析に関する概観、および保健医療福祉分野における主要国の研究成果の動向の評価を実施し、(2)研究成果のアカウンタビリティーの確保や社会へのインパクトの確認の視点から、厚生労働科学研究費補助金による研究成果についての新聞報道に関して調査・分析し、国民への伝達の状態を検証した。
3. 研究評価・研究費助成システムの比較
各国・国際機関における研究評価・研究費助成システムの概略を表にまとめた。
関連資料の収集や関係者への面接を通して、研究費助成システム・規模、研究評価の方法、研究パフォーマンスの現状などを調査した。具体的には、(1)米国の医学・公衆衛生学研究者を対象にした、米国国立健康研究所(NIH)のグラント審査システムおよび研究の事後評価に適した指標に関する意見の聴取、(2)世界保健機関(WHO)および欧州連合(EU)の、保健医療問題に関して構築されている包括的な研究システムの実情調査、(3)経済協力開発機構(OECD)における研究プロジェクトの予算配分および流れに関する聞き取り調査、および(4)英国の研究評価に関する既存資料の収集・整理および専門家へのインタビューを実施した。
2. 保健医療福祉分野におけるわが国の研究パフォーマンスの現状
研究パフォーマンスに関する評価指標の有用性の検討に資することを目的とし、(1)評価に広く用いられている引用分析に関する概観、および保健医療福祉分野における主要国の研究成果の動向の評価を実施し、(2)研究成果のアカウンタビリティーの確保や社会へのインパクトの確認の視点から、厚生労働科学研究費補助金による研究成果についての新聞報道に関して調査・分析し、国民への伝達の状態を検証した。
3. 研究評価・研究費助成システムの比較
各国・国際機関における研究評価・研究費助成システムの概略を表にまとめた。
結果と考察
1. 海外・国際機関の研究パフォーマンス評価
(1) 米国: 米国NIHのグラント審査システムについては、対象者のほぼ全員が肯定的に捉えていた。ただ、最近NIHによって推進されている複数の研究者による研究チーム方式では独創的なアイディアが出ないのではないかという懸念、申請書提出から承認までの期間の長さ(現行9ヵ月～1年)、大規模な研究申請の審査として行われる実地検分の煩雑さ、臨時に立ち上げられる審査委員会の質のばらつきなどを指摘する者もいた。研究の事後評価の指標として、特に社会に対するインパクトを評価するには、発表論文数のほかどのような方法が適しているかについては、様々な意見が聞かれ、共通する意見はなかった。米国NIHにおけるグラントの事前審査については、審査者を対象とした昨年度の研究結果と研究者を対象とした本研究を踏まえると、現行のシステムが望ましいのではないかと考えられた。しかしながら、研究の事後評価については、論文数の他に統一的な意見は見られず、分野による違いが大きく、画一的な尺度はなじまないことが示唆された。
(2) 世界保健機関(WHO)および欧州連合(EU): WHOにおいては、保健医療に関する研究成果が保健医療システムの改善や人々の健康のために有効に用いられるよう、概念的枠組みの構築を試みていた。これらの検討は、各国の保健医療研究システムの解析、文献調査、各国のケースレポートなどに基づいて行われていた。この枠組みは、科学的研究が人々の健康に具体的に結びつくような研究システムを構築するための概念的基準を提供する役割を持っていた。EUにおいては、すべての科学分野に関してヨーロッパレベルでの社会と科学との協調を目標として、主に科学教育、市民の視点に立った科学政策、政策決定における科学の貢献、などに重点を置いていた。保健医療分野に関しては、産業界、医師、政策決定者、患者、倫理の専門家などを含めた、包括的な医学生物学的研究あるいはバイオテクノロジー研究の確立を目指していた。
(3) 経済協力開発機構(OECD): OECDでは、明確に研究予算として組まれるものはなく、人件費より研究費用を支出していた。OECDは、研究する領域について、加盟各国の政策の状況を調査しており、研究機関として重要な情報を配信している拠点であるといえる。OECDにおいては近年医療活動に対する関心が非常に高まっており、わが国の政策を展開するうえで同組織の配信する情報は重要であると考えられた。
(4) 英国: 英国政府は科学技術経費を、研究会議と高等教育資金協議会を通じて支出していた。研究会議のひとつである医学研究会議の4つの研究委員会では、複数の事前審査委員による匿名化された審査結果に基づいて申請書を評価していた。保健医療領域の研究助成において民間研究助成団体ウエルカムトラストの役割も大きく、2003年は3億9500万ポンドを助成していた。英国の研究評価制度には、研究委員会に任期があること、匿名化されて評価がなされていること、外国人の評価を参考にしていることなどが明らかになった。また、民間の研究助成団体の役割も大きかった。
2. 保健医療福祉分野におけるわが国の研究パフォーマンスの現状
(1) 主要国の研究成果の動向: 占有率は発表論文数、被引用回数ともに、米国が群を抜いて高かったが、徐々に低下しており、逆に他の多くの主要国では上昇傾向にあった。わが国を含め、特に非英語圏のヨーロッパおよびアジアで大きく成長していた。1論文あたりの被引用回数は、世界平均を1として、米国は1.3前後で推移しているが、非英語圏のヨーロッパで近年1を超えた主要国が多かった。保健医療福祉分野の発表論数の一国に占める割合は、国によって変動のしかたが大きく異なっていた。わが国では近年世界平均に迫っていた。
(2) 新聞報道調査: 全体記事件数について、最近5年は、横ばい傾向で推移しているが、10年前よりはほぼ倍増していた。1記事あたりの紙面量については近年増加傾向にあり、掲載面については一面または総合面に全体の約14%程度の記事が掲載されていた。記事の内容に関しては、論評主体が「なし(研究班)」の記事が継続的に約60%程度を占め、事実のみの記事が多かったが、論評主体が「有識者」の記事が近年増加していた。また、批評的な記事は近年は継続的に少なかった(約10%以下)。研究の進捗別には、研究を完了した段階での記事が近年は増加傾向にあった。また、具体的な施策への影響に関する記事は、近年継続的に約40%以上を占めていた。
3. 研究評価・研究費助成システムの比較
各国・国際機関における、研究評価・研究費助成システムに関する主要な要素に着目し、表にまとめた。
(1) 米国: 米国NIHのグラント審査システムについては、対象者のほぼ全員が肯定的に捉えていた。ただ、最近NIHによって推進されている複数の研究者による研究チーム方式では独創的なアイディアが出ないのではないかという懸念、申請書提出から承認までの期間の長さ(現行9ヵ月～1年)、大規模な研究申請の審査として行われる実地検分の煩雑さ、臨時に立ち上げられる審査委員会の質のばらつきなどを指摘する者もいた。研究の事後評価の指標として、特に社会に対するインパクトを評価するには、発表論文数のほかどのような方法が適しているかについては、様々な意見が聞かれ、共通する意見はなかった。米国NIHにおけるグラントの事前審査については、審査者を対象とした昨年度の研究結果と研究者を対象とした本研究を踏まえると、現行のシステムが望ましいのではないかと考えられた。しかしながら、研究の事後評価については、論文数の他に統一的な意見は見られず、分野による違いが大きく、画一的な尺度はなじまないことが示唆された。
(2) 世界保健機関(WHO)および欧州連合(EU): WHOにおいては、保健医療に関する研究成果が保健医療システムの改善や人々の健康のために有効に用いられるよう、概念的枠組みの構築を試みていた。これらの検討は、各国の保健医療研究システムの解析、文献調査、各国のケースレポートなどに基づいて行われていた。この枠組みは、科学的研究が人々の健康に具体的に結びつくような研究システムを構築するための概念的基準を提供する役割を持っていた。EUにおいては、すべての科学分野に関してヨーロッパレベルでの社会と科学との協調を目標として、主に科学教育、市民の視点に立った科学政策、政策決定における科学の貢献、などに重点を置いていた。保健医療分野に関しては、産業界、医師、政策決定者、患者、倫理の専門家などを含めた、包括的な医学生物学的研究あるいはバイオテクノロジー研究の確立を目指していた。
(3) 経済協力開発機構(OECD): OECDでは、明確に研究予算として組まれるものはなく、人件費より研究費用を支出していた。OECDは、研究する領域について、加盟各国の政策の状況を調査しており、研究機関として重要な情報を配信している拠点であるといえる。OECDにおいては近年医療活動に対する関心が非常に高まっており、わが国の政策を展開するうえで同組織の配信する情報は重要であると考えられた。
(4) 英国: 英国政府は科学技術経費を、研究会議と高等教育資金協議会を通じて支出していた。研究会議のひとつである医学研究会議の4つの研究委員会では、複数の事前審査委員による匿名化された審査結果に基づいて申請書を評価していた。保健医療領域の研究助成において民間研究助成団体ウエルカムトラストの役割も大きく、2003年は3億9500万ポンドを助成していた。英国の研究評価制度には、研究委員会に任期があること、匿名化されて評価がなされていること、外国人の評価を参考にしていることなどが明らかになった。また、民間の研究助成団体の役割も大きかった。
2. 保健医療福祉分野におけるわが国の研究パフォーマンスの現状
(1) 主要国の研究成果の動向: 占有率は発表論文数、被引用回数ともに、米国が群を抜いて高かったが、徐々に低下しており、逆に他の多くの主要国では上昇傾向にあった。わが国を含め、特に非英語圏のヨーロッパおよびアジアで大きく成長していた。1論文あたりの被引用回数は、世界平均を1として、米国は1.3前後で推移しているが、非英語圏のヨーロッパで近年1を超えた主要国が多かった。保健医療福祉分野の発表論数の一国に占める割合は、国によって変動のしかたが大きく異なっていた。わが国では近年世界平均に迫っていた。
(2) 新聞報道調査: 全体記事件数について、最近5年は、横ばい傾向で推移しているが、10年前よりはほぼ倍増していた。1記事あたりの紙面量については近年増加傾向にあり、掲載面については一面または総合面に全体の約14%程度の記事が掲載されていた。記事の内容に関しては、論評主体が「なし(研究班)」の記事が継続的に約60%程度を占め、事実のみの記事が多かったが、論評主体が「有識者」の記事が近年増加していた。また、批評的な記事は近年は継続的に少なかった(約10%以下)。研究の進捗別には、研究を完了した段階での記事が近年は増加傾向にあった。また、具体的な施策への影響に関する記事は、近年継続的に約40%以上を占めていた。
3. 研究評価・研究費助成システムの比較
各国・国際機関における、研究評価・研究費助成システムに関する主要な要素に着目し、表にまとめた。
結論
本研究では、研究事業の目的や地域・分野の特性に応じた研究評価制度が必要であることが明らかになった。たとえば米国NIHの研究評価は事前評価が中心である。しかし、膨大な人的資源を投入しているNIH方式をわが国で一斉に採用することは現実的ではない。たとえば事後評価をさらに充実させ、その評価結果を次の申請の評価に反映させるなど、わが国の特性・個別性を考慮しながら、次のステップを柔軟に検討していく必要があろう。また、英国の研究評価制度にもみられるように、申請書の査読を海外の研究者にも関与を以来したり、評価の審議において匿名性を配慮するなども、引き続き検討していくことは、さらによい研究評価制度の構築に資すると考えられる。研究パフォーマンスを評価する具体的な指標に関しては、本研究で対象とした国や機関でも明確ではなかったが、本研究で行った引用分析による研究成果の動向や新聞報道の定量的な分析は、関連する評価方法として一定の有用性があると考えられる。本研究では、研究評価システムを構築する上で、検討すべき様々な要素が示された。研究評価を適切に遂行する人的資源を含め、研究評価システムを構成するあらゆる要素に関してより詳細な調査・情報収集・分析が引き続き必要である。運用可能性を確認するためにも、学術的な研究デザインを組み込んで、海外の仕組みをモデル的に研究評価事業の一部で試行することを期待したい。
公開日・更新日
公開日
-
更新日
-