総務省トップ > 組織案内 > 審議会・委員会・会議等 > 政策評価・独立行政法人評価委員会 > 会議資料 > 政策評価の手法等に関する研究会(第11回)議事概要

政策評価の手法等に関する研究会(第11回)議事概要

日時

平成12年4月25日(火) 13:00〜16:30

場所

総理府3階特別会議室

出席者

(研究会)
村松座長、奥野座長代理、金本良嗣、久保惠一、田辺国昭、山谷清志の各研究協力者

(発表者)
科学技術庁(科学技術政策局計画・評価課 佐野評価推進室長)
外務省(経済協力局評価室 原田首席事務官)

(総務庁)
塚本行政監察局長、畠中官房審議官、堀江官房審議官、鎌田企画調整課長、若生政策評価等推進準備室長、本間監察官、加藤監察官その他関係官

議題

  1. 研究開発評価をめぐる状況について(科学技術庁説明)
  2. ODA(政府開発援助)に関する評価をめぐる状況について(外務省説明)
  3. 政策体系評価(仮称)の在り方について

会議経過

  1. 科学技術庁から、国の研究開発に関する評価をめぐる状況について以下のような説明があった。

    (科学技術庁)
    1. 「国の研究開発全般に共通する評価の実施方法の在り方についての大綱的指針」について
      • 研究開発については、平成9年8月に科学技術会議において、内閣総理大臣が決定した「国の研究開発全般に共通する評価の実施方法の在り方についての大綱的指針」(以下「大綱的指針」)がとりまとめられ、現在、国費に基づいて実施されている研究開発の評価はほぼ全てこの指針に基づいて行われている。
      • 大綱的指針とは別に、各研究機関又は各制度ごとに、現場に即した詳細な基準を作成している。
      • 大綱的指針の意義は、1)国の研究開発資金の重点的・効率的配分、2)柔軟かつ競争的に開かれた研究開発環境の実現、3)研究開発への国費の投入に関する国民の理解と支持。という3点である。
      • 評価の在り方についての基本的考え方として、1)評価基準・過程が外部から分かる透明性のある明確な評価の実施方法の確立、2)第三者を評価者とする外部評価の導入、3)国民に評価結果等を積極的に公開するなど開かれた評価の実施、4)研究開発資源の配分への反映等評価結果の適切な活用が挙げられている。
      • 評価実施上の共通原則としては次の7つを掲げている。1)評価対象の設定、2)評価目的の設定、3)評価者の選任等、4)評価時期の設定、5)評価方法の設定、6)評価結果の取扱い、7)評価実施体制の充実。
      • 研究開発の現場や予算を決めていく場で、評価結果をどのように活用していくか試行錯誤しているところであるが、評価結果は、インターネット等でほぼ公表。
      • 次に、主な留意すべき事項としては、「評価に伴う過重な負担の回避」や「数値的指標の活用の限界」などがある。実際の研究現場においては、評価者、被評価者ともに非常に負担が重い状況であり、重複を避ける方法が課題。また、なるべく数値的指標を活用しようとしているが、質の評価を行う場合に数値的指標だけでは扱いにくい対象もある。ピアレビューという専門家による評価手法があり、定性的な評価も含め総合的な判断が必要。
      • 大綱的指針では、研究開発課題の評価と研究開発機関の評価とが示されており、研究開発課題の評価については、1)競争的資金による研究開発課題の評価、2)重点的資金による研究開発課題の評価等、3)国を挙げて実施するメガサイエンス等の特に大規模かつ重要なプロジェクトの評価(原子力等)、4)基盤的資金による研究開発課題の評価について、評価の考え方が示されている。
      • 研究開発機関の評価については、1)国立研究機関については機関の運営全般について評価、2)大学等については自己点検評価の一層の定着及びその内容の充実を図ることとしている。
      • 大綱的指針は必要に応じて見直していくこととされており、現在、科学技術会議では大綱的指針の見直しに向けて検討を着手したところである。
    2. 科学技術関係経費について
      • 科学技術関係経費は、平成12年度は約3兆2,834億円。日本における関係省庁の研究開発評価予算総額は約13億円。なお、英国では、研究開発経費の1%について評価の経費を計上することが適当とされている。
    3. 「科学技術基本計画に関する論点整理(平成12年3月24日科学技術会議政策委員会)」について
      • 現在科学技術会議において、来年4月からの科学技術の5か年計画である科学技術基本計画の見直しを行っており、その過程において、研究開発評価についても意見が出ている。
      • 大綱的指針の策定以来、各国立試験研究機関、特殊法人、大学等においては、ほぼ9割以上が何らかの評価を行っており、実施要領についてはほぼ100%の機関で策定している状況。
      • 評価の内容についてはまだ発展途上の段階であるが、今後、定着に向けていくつかの問題点が挙げられている。例えば、「各種評価の目的が必ずしも明確ではない」「論文数等の単純な数値目標への偏重が見られる」「評価の専門的なスタッフがいないので非常に負担感がある」等々。
      • これらについては、科学技術の基本計画の改定において議論されているが、本年中に基本計画の答申が出る予定で、これを受け来年から大綱的指針の見直しに本格的に着手する予定。
    4. 総合科学技術会議について
      • 総合科学技術会議については、内閣府設置法に所掌事務として「国家的に重要な研究開発の評価」があり、どのような評価を行うか今後検討していく予定であるが、大規模なプロジェクトや複数の府省にまたがる研究開発など、日本の研究開発全体を見た上での評価を行っていく予定。
      • 総合科学技術会議の評価は、制度の評価や各府省の評価を更に評価することや、この場で議論されている政策評価とリンクする部分がある。政策評価とは密接に連携を保ちながら運営していく必要がある。

  2. 引き続き、科学技術庁からの説明を踏まえ以下のような意見交換があった。

    (久保研究協力者)
    • 研究開発の評価結果の扱いについてはどのようになっているのか。
    • 研究機関の評価の内容をチェックする機関として、科学技術政策委員会のような常設機関があるのか。
    • 独立行政法人の評価と科学技術の評価との関係はどうなっているのか。

    (科学技術庁)
    • 評価結果については、国及び各研究機関のほぼ9割以上が公表。公表の形態としては、インターネットでの公表が一番多く、その他、記者会見や審議会等への報告、刊行物への掲載など様々な方法がある。
    • チェックする機関は、各省庁ごとに異なる。例えば、科学技術庁では、庁内に評価委員会を設けてチェックしているが、各省庁でも概ね同様ではないか。ただ、全政府的なチェックについては、科学技術会議が必要に応じて実施しているのが現状であり、各機関で評価したものを全てチェックするという形にはなっていない。
    • 独立行政法人については、各府省の独立行政法人評価委員会において、研究開発の評価も行われることになるだろう。総合科学技術会議による研究開発の評価については、会議発足後具体的に決まることになる。

    (山谷研究協力者)
    • 個人評価は機関評価に入らないのか。
    • 総合科学技術会議は、個々の研究開発プロジェクトを評価するのか、政策そのものを評価するのか。
    • 機関評価では、マネジメントのやり方を評価するのか。いわゆるマネジメント・レビューのようなものか。

    (科学技術庁)
    • 現状では、個人評価の集大成が機関評価になるという考え方を取っている。ただ、それ以外に、個人評価を導入する目的として、いい研究成果を資源配分、処遇の面で個人に反映させていくということがあり、日本が研究開発分野での世界のフロントランナーとなるためにも重要なことである。
    • 総合科学技術会議は、個々のプロジェクトも政策そのものも評価することになると考える。具体的な整理は今後の課題。
    • マネジメント・レビューについては、しっかりマネジメントをしている機関をきちんと評価するというもの。マネジメントには、研究開発のマネジメント、組織のマネジメント、その他財務予算のマネジメントなどあるが、最終的に機関の長が責任を持つべき。このような機関のトップによるマネジメントをどのように評価するかが、今後、その機関が世界に有数の研究機関(COE:CenterofExcellence)になれるかどうかにおいて重要。

    (金本研究協力者)
    • 研究開発の評価を行う際には、本当の意味での外部評価が重要ではないか。
    • 現場で評価される立場にいると、予算は付くが、事務負担ばかり増えて研究時間が減るという傾向がある。予算の配分権者や評価者自身の責任を含めた評価を行う必要があるのではないか。

    (科学技術庁)
    • 外部評価者を事務局が人選することについては科学技術会議でも議論になっている。ただ、研究開発の評価では、その分野を熟知している人材がどうしても必要であり、ある程度のつながりはやむを得ないと考える。
    • 研究開発の分野に限らず、評価に対する支援体制が不十分なのが現状。これに対応するために、共通的な評価項目のフォーマット化、経費の確保、専門的評価者の育成、評価者に関する情報のデータベース化、評価を運営する者の育成・確保、意見交換の場の設定など、評価の支援体制の充実について現在検討中。

  3. 続いて、外務省から、ODAに関する評価をめぐる状況について以下のような説明があった。

    (外務省)
    1. ODAの事後評価活動の概要について
      • 外務省は、1980年代の当初から事後評価を開始し、1982年から評価報告書を公表。評価室の発足は10年前。1991年にはOECF(海外経済協力基金、現JBIC(国際協力銀行))が、1995年にはJICA(国際協力事業団)が評価報告書を公表している。
      • 現在のODA評価組織としては、外務省には経済協力局の評価室、JICAは評価監理室、JBIC(国際協力銀行)は開発事業評価室がある。
      • まず評価の目的としては、1)日本のODA事業が効果的・効率的に実施されているか、2)評価結果を援助案件の運営管理改善に活用するとともに、将来の援助政策の策定に役立て、ODAの質の向上を図る、3)評価結果を公表することにより、ODAの実態や成果を国民に明らかにする、の大きく3点。
      • 評価の基準とガイドラインについては、DACで採択された評価5原則(実施の効率性、目標達成度、インパクト、計画の妥当性、自立発展性)等を踏まえて実施。主観的な見方にならないよう、できるだけ定量的な評価に努めている。
      • 評価形態については、次の12に分類。1)特定の国を対象とする国別評価、2)援助実施体制評価、3)特定のテーマに基づく評価、4)他のドナー国や国際機関などと合同して行う評価、5)有識者に依頼して実施する評価、6)国際専門家による評価、7)被援助国関係者(受け取る側)による評価、8)現地コンサルタントによる評価、9)シンクタンクの情報収集能力を活用した評価、10)国際機関の評価、11)NGOとの共同評価、12)在外公館による評価。
      • 評価結果のフィードバックについて、政策当局へのフィードバックは、評価の実施後、どのような点を改善すべきか等を局内の関係者に報告。必要があれば当該事業の企画立案に役立てる。次に、実施機関へのフィードバックは、JICA、JBICなどに評価結果をフィードバックし、必要があればフォローアップを行う。
      • 評価結果報告書は、和文、英文両方を作成して公表している。外務省のホームページでも要約版を公表。
      • 国別の評価については、評価調査団が現地でセミナーを開催し、調査結果を説明するということも実施。
    2. 「『ODA評価体制』の改善に関する報告書」について
      • 平成10年1月に、「21世紀に向けてのODA改革懇談会」で、ODAの評価に関しても評価システムの確立が重要であるとの提言を受け、同年11月、援助評価検討部会の下の評価研究作業委員会でODAの評価制度について改善すべき点についての中間報告が出された。その後も引き続き、ODAの評価の目的、対象、体系、人材、評価の時期、評価のフィードバック、情報公開、手法等について包括的な議論を行いとりまとめたのがこの報告書。
      • 評価の目的はアカウンタビリティ、実施管理・支援、フィードバック、国民の理解と参加促進という4点を提言。
      • 評価の対象として、政策レベル、プログラム・レベル、プロジェクト・レベルという3つのレベルに分けることを提言している。多くのドナー国や国際機関は個々の具体的プロジェクトの実施だけではなく、複数の関連するプロジェクトを有機的に組み合わせて実施するプログラムアプローチを採り入れるようになっており、これに対応してプログラム・レベルの評価を導入するようになってきている。さらに、国際的な潮流として、ODAの評価は、プロジェクト、プログラムだけでなく、「policyevaluation」と言われているように、政策レベルの評価も行うべきという方向に向かいつつある。評価の中身は必ずしもはっきりしないところはあるが、援助機関全体としての戦略や政策、特定の国を対象とした援助政策などが含まれていると認識。
      • 評価の体系としては、外務省は政策レベルの評価に重点を置くべきで、JICA、JBICの実施機関はプロジェクト、プログラムレベルの評価に重点を置いてはどうかという提言。外務省としては、依然としてプログラムレベルの評価は重要だと考えており、引き続き実施していこうと考えている。外務省のODA予算は政府全体の半分程度で、それ以外の関係省庁のODA事業も評価する必要があり、関係省庁とも連携を取るべきだという提言を受けている。
      • 評価の体制については、「ODA評価研究会(仮称)」を設置して、さらに検討すべきとの提言がなされている。
      • 評価の人材については、援助評価専門家の登録制度の導入を考えてはどうか、あるいは「日本評価学会(仮称)」をつくって人材育成に役立ててはどうかという提言がなされている。
      • 評価の時期については、従来はどちらかと言えば、事後の評価に偏っていたが、それだけでは十分な効果が得られないということで、事前、中間においても評価を実施しその結果を公表していくことによってODAプロジェクトを向上させていくことができるのではないかという考えもあり、一貫した評価プロセスを確立すべきという提言がなされている。
      • 評価の手法については、プロジェクトの目的や評価手法について更に検討すべきという提言を受けており、政策レベル、プログラム・レベルの評価の手法について調査研究中。
      • 評価のフィードバックについては、まず外務省、JICA、JBICの間のフィードバック体制を確立すべきという提言を受けている。
      • 評価の公表については、今までは、評価の実施後1年半ぐらい経って結果を公表していたが、できるだけ迅速にインターネットで国民に公表すべきという提言を受けている。

  4. 説明を踏まえ以下のような意見交換があった。

    (山谷研究協力者)
    • DACの評価5原則と、後から加わった「環境」とか「ジェンダー」への配慮という考え方は相反することにならないか。例えば、「環境」という評価基準を充たそうとすると、効率性や目標達成度を阻害してしまうなど。
    • また、現在、定量的評価と定性的評価とでは、どちらの方が多いのか。

    (外務省)
    • 外務省の評価は、基本的にDACの評価5原則をある程度踏まえて行われているが、巨大プロジェクトを評価する際に、評価の5原則の中では「環境」とか「ジェンダー」のような視点がカバーできていないとの指摘もあり、評価に際しては、DACの評価5原則のみならず、他の評価の視点も採り取り入れることが望ましいと考えている。
    • 技術協力などのように数字では評価し難いものも多く、定量的評価と定性的評価のどちらが多いかについてははっきりと言えない。ただし、評価の客観性を高める上でもできるだけ定量的な評価を行うことを考えている。

    (村松座長)
    • 事後評価から始まった評価を事前段階の評価や中間段階の評価まで拡張する際にDACの評価5原則以外の基準が加わることはあるのか。また、他に重要な基準は考えられるか。

    (外務省)
    • DACの評価5原則は、事後評価を念頭に置いているものと考えられる。事前段階の評価については、「必要性・妥当性」、「目的」、「内容」、「目標」などについて数量的なものを中心に目標を掲げ、プロジェクトを始める際に国民に公表することを考えている。従って、事前段階の評価から行う場合、評価項目も異なってくるものと思われる。

    (久保研究協力者)
    • これから取り組むことになっている政策レベルやプログラム・レベルの評価はどのように実施していくのか。

    (外務省)
    • 政策レベルの評価やプログラム・レベルの評価については、今後、国際機関や他のドナー国の評価状況を調査・研究し、我が国にとって最も望ましい評価手法について検討することとしている。その際、具体的な国を選んで実際に試行して、より質の高いものにしたいと考えている。事前・中間・事後という一貫した評価プロセスについては、JICA(国際協力事業団)やJBIC(国際協力銀行)と相談しながら進めていく予定。

    (久保研究協力者)
    • 外務省で政策評価を行う場合の政策レベルとODAの政策評価でいう政策レベルは同じものか。

    (外務省)
    • 外務省全体の政策評価についてはコメントする立場にないが、ODAの分野では、プロジェクトをまとめたものがプログラムであり、その上にある「ODAに関する中期政策」や「国別援助計画」などが政策。ODA評価の枠組みにおける政策評価と外務省全体の中での政策評価とは別のものではないかと考える。

  5. 事務局から政策体系評価(仮称)の在り方について説明があった後、行政監察局から、これまでの行政監察結果の事例として「公社・事業団の財務内容等を中心とした調査」、「宇宙開発に関する行政監察結果」について説明があった。これらの説明を踏まえ、以下のような意見交換があった。

    (金本研究協力者)
    • 日本では、評価のためのマンパワーが少なく、同じ組織で評価と企画・立案を兼ねている例が多いため、政策体系評価(仮称)がうまく機能しないのではないかという懸念を持っている。また、事後評価は、箇所付けの決定や予算へのリンクなどの実施の動機付けが事前評価に比べ弱い。事後評価をうまく機能させるためには、政策担当者自身が従来の政策を変えたい時に、内部を説得させるための材料として活用することや、過去の評価を含めて体系的に評価するといった前向きの姿勢が必要。
    • 施策実績評価(仮称)では、目標の設定段階が大変重要であるため、事前にプロジェクト評価のような下から積み上げる評価を実施したり、交通と環境のようにトレードオフの関係にある複数の目標相互の妥当性を判断するために政策体系評価(仮称)の仕組みを活用することも考えられる。
    • 事業評価(仮称)は個別プロジェクトごとの評価であり、個別プロジェクトを含めた全体の妥当性は事業評価(仮称)の枠組みだけでは評価できない。このような場合に政策体系評価(仮称)は有効。
    • GAOでは修士号を持つ職員が1〜2年でレポートを1本書くぐらいのペースで仕事をしており、非常に余裕がある。日本でも仮に同じようにできたとしても、評価結果で実際の政策についてどこまで踏み込めるかは疑問。

    (久保研究協力者)
    • 政策体系評価(仮称)は、基本的に「政策」にも重点を置きながら評価していくべきではないか。政策と施策の関係は、ある政策を頂点として複数の施策があるというケースだけではなく、一つの施策につき複数の目的、即ち複数の政策があると考える。その場合、複数の政策との関係で、一つの施策を複数の視点から見て評価するなど、施策と政策を結びつけながら評価する点も重要。

    (田辺研究協力者)
    • 政策体系評価(仮称)の導入の目的は、どのような仕組みとしてとらえるかによる。一つのとらえ方は、政策体系評価は欧米のプログラム評価そのものであり、現に機能している仕組を導入するというもの。もう一つのとらえ方は、上位政策と下位政策との関係、個別プログラム間の関係、個別プログラムと全体との関係をみるというもの。
    • 具体的な仕掛けをどのようにするかが問題であり、政策体系評価(仮称)を活かすためには、導入目的やインセンティブの面から考えると、各府省にとって役に立つような仕組みにすることが最低条件。

    (村松座長)
    • 2月の中間整理の段階では、政策体系評価(仮称)は「すべてのレベルを視野に入れて」となっている。政策体系評価(仮称)を行う場合には、例えば道路行政の場合は道路政策まで視野に入れて評価すべきではないか。あまり踏み込むと政治のアジェンダ(優先事項)の問題となるため、どこまで踏み込むかは難しい問題。実現可能性の問題も大切だが、「あらゆるレベル」という表現には、いわゆる高いレベルの政策にも踏み込んで評価を行うという趣旨が含まれていたと思う。

    (田辺研究協力者)
    • 政策体系評価(仮称)では業績評価やプロジェクト評価では出てこない情報を補完するという仕掛けを考える必要がある。例えば、GPRAの枠組みでは、個別の目標と個々の施策の関係は現場でしか分からない部分がある。政策とその効果の因果関係についての情報や実際に現場で何が起こっているかという情報は業績評価やプロジェクト評価では出てこない。このような情報が得られるような仕掛けを政策体系評価(仮称)で作れないか。

    (山谷研究協力者)
    • 各省の政策を実施する組織・手段が特殊法人であるとすると、政策体系とパラレルな関係が、省と特殊法人との間にある。政策を達成するため特殊法人の中でいろいろな事業を行っているが、それがコスト的に無理があるかどうかという情報は事業評価(仮称)や施策実績評価(仮称)では出てこない。政策を実行していく体制自体にコスト面で無理があるという言い方は可能ではないか。そういう機能が政策体系評価(仮称)にあるとすれば、全体的な仕組みの中で別の政策手段を選択すべきという勧告も可能であり、また、今まで行政監察でやっていた手法も政策体系評価(仮称)の枠組みで使える可能性があるのではないか。

    (久保研究協力者)
    • 政策体系評価(仮称)のテーマを各省が自由に選ぶということになると、各省がそれぞれに都合のよいテーマを選ぶことになりかねないため、何らかの縛りが必要。国民が本当に知りたいテーマを選択させるようなルール作りが必要ではないか。また、その際、シンクタンクを活用する際のルールを作っておくべきで、政策体系評価(仮称)を政治に対する抑止力として使うということも考えられる。

    (田辺研究協力者)
    • 政策体系評価(仮称)については実際に機能するような仕組みにすることと、評価の質を確保することが重要。総務省については、政策評価・独立行政法人評価委員会がテーマや評価対象の設定等に関してチェックすることになると思うが、各府省についても何らかの外部チェックが入る仕組みを作っておく必要があるのでは。

    (山谷研究協力者)
    • ODAの分野などで、自発的に政策体系評価(仮称)を行うケースが出てくるのではないか。例えば、通産省のケースだが、従来は、日本からの援助を使って日本以外の国の企業に発注してもよかったが、最近は日本の経済状態が悪化しているため、日本の援助で実施する事業は優先的に日本企業に発注させるように縛りをかけた方がよいのではないかという議論が出ている。これは、政策手段の組み換えを伴うものであり、従来のやり方を総合的に評価して、今後どのような方向に進むべきかを議論する必要がある。社会・経済情勢の変化により、これまでの事業の重点の置きどころを変えると、政策手段も変わってくるというケースは意外に多いのではないか。

    (久保研究協力者)
    • 各府省で実施する政策体系評価(仮称)のテーマについて、どの程度の量で、どのくらいの本数を実施するかということを指針として書いておいた方がいいのではないか。簡易なテーマを多数行うことで実績作りに走るのは問題である。実施本数など定量的な記述も盛り込むべき。

    (田辺研究協力者)
    • 政策体系評価(仮称)の枠組みが一番生きてくるのは総務省においてではないか。政策体系評価(仮称)は、結局レポート方式になるため、どのようにして情報を満載した報告書として有益なものにするかが課題。従来だと、政策フレームの問題を政策手段の問題という形で議論していたが、今後は政策フレームの問題としてある程度明確に議論できるようになるのではないかと期待している。
    • 新たな政策の見直しや、数年前に大々的に導入したものの現在ではほとんど機能していない法律・制度などを見直すということもある。また、サンセット法などもあるため、政策体系評価(仮称)の対象には事欠かない。

    (村松座長)
    • 政策体系評価(仮称)の実施に当たって総務省と各府省との連携の在り方はどのようになるのか。
    • 補助金や規制、行政手続法の運用実態など、総務省の横断的な評価の対象となるものは多いだろう。

    (山谷研究協力者)
    • 評価に要する労力やコストの問題は事前に十分検討する必要があると考える。その検討をしないと、予算や人員が不十分だから評価できないということで終わってしまう危険性がある。

    (久保研究協力者)
    • 政策体系評価(仮称)はレポート形式、あるいは文章形式になるだろうが、各府省間で取組に差があるのも望ましくない。結果報告書に最低限盛り込むべき項目についてはある程度の指針が必要ではないか。

  6. 次回第12回研究会は、平成12年5月11日(木)13:30から、規制に関する評価をめぐる状況、事業評価(仮称)の在り方等を議題として開催することとされた。

  7. 以上
    (文責:総務庁行政監察局政策評価等推進準備室)

ページトップへ戻る