論より証拠？—インパクト評価とは１（開発学：其の参）

いよいよ大学院での勉強も最終局面に。
明日は春学期最後の授業。そして残るエッセイは二つ。


そんなところで、やっと私がこ８ヶ月あまり勉強してきたテーマについて
書きたいと思います。（今日はなぜか敬体文で書きます）


すなわち、開発業界における「Impact Evaluation」についてです。
●「Evidence Based Policy」 に対する要求の高まり


前の回で、最近の開発業界で「Evidence Based Policy」(根拠に基づいた政策)に
対する要求が高まっていると書きました。


平たく言うと、これまでの援助業界では、
あるときは援助する側（特に西洋）の価値観の押しつけであったり、
あるときは熱意やプロセス重視の姿勢が強かったりして（結果より気持ちが大事！みたいな）、
その援助プロジェクトがどれだけ有効性があったかということが
あまり精緻に評価されてこなかったのでは無いかという反省があるそうです。


ちなみに、JICAの英国事務所長が講演で仰っていましたが、
こうした批判は、欧米の開発関係者の中で特に強いそうなのですが、
これは、これまで彼らが莫大な金額の援助をしてきたアフリカ諸国で
なかなか思ったような成果が生まれないということに対する疑問から生まれたそうです。


それで、もっとプロジェクトの有効性を客観的に評価する手法について
もっと考えようという議論が高まってきたのです。
まさに「論より証拠」、あれこれと論理や理屈や「べき」論を述べるより、
本当にその援助が効果があるのか、証拠を出そうじゃないかということです。
（無理矢理ことわざと結びつけたな･･･感が否めないこの回）


そして、その証拠に基づいて、より効果的な政策を立案しよう、となるわけですね〜。
なんだか当たり前じゃないの？と思う人も多いでしょうが、
援助業界でこういった話題が高まってきたのは、２０００年以降だそうですよ。


● Impact Evaluation インパクト評価とは
さて、で、本題の「インパクト評価」です。


これまでの説明で、だいたいの人は
「プロジェクトの効果（インパクト）を評価するんだな」ということは
お察しがつくと思いますが、
大事なポイントは、それはこれまでの評価と何が違うのか、ということです。


当然ですが、今までも「プロジェクトの評価」というのは行われてきました。
しかしそれは、「プロジェクトが最初に設定した目標に対してどれだけ達成できたか」を
評価するものでした。（これを事業評価Operational Evaluationと言います）


それに対して、ここがミソなのですが、
インパクト評価は
「このプログラムが無かったら何が起こっていたか」ということを想像し
「プログラムの起こった状態（事実）」と「起こっていない状態（反事実）」を比較して、
プログラムの有効性を考えるという点で、前者と決定的に異なります。


例を挙げましょう。
私がダイエットをしようと決心しました。目標は現状の—５ｋｇ。
それで、毎朝５ｋｍ走ることにしました。
それを６ヶ月繰り返し、結果、なんと、—７ｋｇの減量に成功したとします。
これを「事業評価的に」単純に評価するとすれば、
目標−５ｋｇに対して結果が−７ｋｇですから、当初の目標よりさらに２kgの減量に成功、
朝のマラソンは効果大！ということになりますね。


でも、この成果をすべて朝の5kmのおかげだと言えるでしょうか？？


答えは恐らくＮＯです。
もちろん、 毎朝５ｋｍの効果は多少あったでしょう。そう思いたいです。
しかし、他にも体重を減らす要因があったかもしれません。
例えば、減量を意識している私は、食事制限をしたり、
普段の生活の中でエレベーターより階段を使おうとしたり、
その他の減量活動を行っている可能性があるからです。
あるいは、勉強によるストレスでやせ衰えたのかもしれません（これは可能性大です）。
だとすれば、マラソン効果を−７ｋｇとするのは、効果を過大評価していることになります。


一方で、実は朝の5ｋｍは本当はもっと効果があったのかもしれません。
私はイギリスに来て、脂っこいフィッシュアンドチップスや安いビールを飲んでいて、
クリスマス、お正月とたらふく食べ、逆に太る要因があったのかもしれません。
にも関わらず７ｋｇの減量に成功したとすれば、その暴飲暴食が無ければ
１０ｋｇくらいやせていたかもしれません！
だとすれば、マラソン効果−７ｋｇというのは、効果を過小評価していることになりますね。


・・・ということを考えると、
純粋にダイエットプロジェクトの効果だけをに抽出するのは、決行至難の業です。


先程説明したインパクト評価の考え方では
「朝の５ｋｍがなければ、私の体重はどうなっていたんだろう？（反事実）」を考え、
「毎朝走った私」と「走らなかった私」を比較する、ということになります。
でも、、、、現実には「走った私」しか存在しません。


あなたなら、どうやってこの問題を解きますか？


・・・ここから先、まだまだ長くなりそうなので、
続きは次の回で書きます。