「瓜二つ」を探せ！—インパクト評価とは２（開発学：其の四）

・・・さて、インパクト評価についての続編です。

前回をご覧になっていない方がいらっしゃいましたら、
どうぞそちらを先にお読みいただければと思います。

毎朝５ｋｍ走るという行為が私に与えるダイエット効果について

どうやってそれを検証するか、という話だったと思います。

インパクト評価は、ここで薬学の世界の考え方を応用します。

どこからから（←実はここが問題です）私のそっくりさんを見つけてきて、

私と全く同じ生活をさせます。但し、朝のマラソンを除いて。

つまり、完全理想的なモデルとしては、こういうことです。

彼女と私は同じ年齢で、同じ身長、同じ体重、同じ新陳代謝。

私と同じ数の階段を上がり、同じ量の論文を読み、

私と同じように暴飲暴食していただきます。

ただし、私だけが早起きをして、毎朝５ｋｍ走らなければなりません。

その６ヶ月後に、二人にどのような違いが起こっているかを調べるのです。

非常に恐ろしい表現なので、教科書には決して書かれませんが、

まさに、実験室のマウスと同じ考え方ですね。ふふふ。

全く同じ環境で育てられたマウス２匹。

その１匹にだけ、特別な化学物質を投与し、どのような変化が起こるかを検証する。。。

それを現実の世界で行うというのが、インパクト評価の考え方です。

でも、もちろんこれには明らかに倫理的な問題があります。

実際に、私のそっくりさんを「強制的に」私と同じ生活を送らせるというわけには

今日の人権尊重論から許されるはずもありません。

というわけで、

どうやってそっくりさんを見つけるか
が、インパクト評価の鍵になります。

ちなみに、この「瓜二つ」（今回も苦しい理由付け）のそっくりさんのことを
「Comparison Group」とか「Control group」といって
私本人のことを「Treatment group」と呼びます。

Groupというには複数人の集団と言うことになります。
実際に５ｋｍのマラソンが全人類のダイエット効果があるかどうかは、

もっともっとたくさんの人で試してみないと解りません。

これは、朝マラソンが私に減量効果を引き起こしたという因果関係
（＝Causality, Interbal validity）とは別に

それがどれだけ一般化できるか( = Genaralisation, External validity)という問題が
あるからです。

だから、大抵の場合は１人を調べるのでは無くて、
たくさんの人の変化を調べてその平均を「プロジェクトの効果」と考えます。

このTreatmentという呼び方に、抵抗を覚える方もいるそうですが、
薬学実験から来ている考え方とすれば、まあ仕方ないかなと私は思っています。

この「そっくりさん」の見つけるには、統計学・計量経済学の手法を使います。
一番良いと言われているのは「ランダム化」という手法で
同じ母集団から無作為にTreatment groupとControl groupに参加者を割り当てる
というやり方です。
また、そっくりさんを見つけるのでは無く、

重回帰分析や交差項・道具的変数を利用した回帰分析の方法で、

プロジェクトの成果を計算する手法もあります。

でも、これ以上書くと読んでいて頭が痛くなるので、省略します。

興味のある方がいれば、もちろん喜んでお話しします^^

●インパクト評価の問題点

ここまでインパクト評価の基本的な考え方について説明してきました。

コンセプトとしては難しくないし、

なによりプロジェクトの効果を精緻に研究しよう！というと

非常に聞こえが良いので、誰も反対しないのでは？と思うかもしれません。

でも、いくつか問題点があると思っています。

１．お金がかかる

すでに説明したように、研究の成果を一般化するには、
たくさんの実験サンプルが必要になります。

一般的な量的インパクト評価では、このサンプル数が５０より小さいと
あまり相手にされないように思います。

ということになると、色々な人に協力してもらわなければならないので、
当然お金もかかります。

また、ダイエットが終わってから評価するのでは無くて、

ダイエットを始める前からそっくりさんを見つけておかなければならないので、

相当な「仕込み」も必要になります。


全く根拠の無い憶測ですが、最近世界銀行なんかがやっている評価プロジェクトは
数百万円はくだらないのではないでしょうか。
もちろん、超一流のエコノミストを雇っているので、人件費もかかります。


その評価にかかるコストって、誰が負担するのでしょうか？
評価にかかるお金で救えるかもしれないの命よりも、
その研究が人類の発展にとって重要と言えるのでしょうか？

２．すべてのプロジェクトを評価できるわけでは無い

インパクト評価の考え方は、すべての開発援助プロジェクトの評価に

通用するわけではありません。

例えば、緊急援助。大地震が起こった国に対して援助をする際、

「援助をしなかったらどうなるか」を調べるために、

ある地域にだけ支援物資を送り、ある地域には支援をせず、

生存者の違いを調べる・・・・なんてこと、できるわけありません！

上記の例は、開発援助というよりは緊急人道支援に関するものですが、

他にも、国家全体のマクロ経済政策などを評価するには向いていません。

一方で、特定の地域にターゲットを絞った保健プロジェクトや、教育プロジェクト、

貧困削減プロジェクトの評価には、一定の成果が上がっているようです。

３．プロジェクトのための評価？評価のためのプロジェクト？

新薬の開発では、実験はあくまで実用化が目的であり、

その効果を精緻に測定することが最重要な課題となります。

一方で、開発援助プロジェクトは、ぶっつけ本番、ってことがたくさんあります。

そいういったときに、評価のためにあれこれと仕込みをしたり、

膨大な費用をかけたりするのは、そのプロジェクトに参加する人にとって、

本当に良いことなのでしょうか。

もちろん、開発プロジェクトにも「パイロットプロジェクト」的なものはあり、

ある特定の地域で試行的に実施してみて、うまくいけばそれをもっと広い地域に展開する、

良い成果が得られなければ、内容を修正する、といったことがあります。

でも、パイロットプロジェクトにしても、

そこに参加している人はまさに実社会に生きている人々であり、

実験室のマウスではありません。

仮にそのプロジェクトがかなり悪い結果をもたらしたりした場合、

彼らに対してどのような償いをすれば良いのでしょうか？

インパクト評価は、常にこうした倫理的な問題を考えなければ行けません。
まさに人体実験や、クローン実験と同じような問題を潜在的に持っているのです。

４．近視眼的になりがち

ある世界銀行の人が発表した論文で、学校の先生の欠勤率を減らすために、

「毎朝学校に来たら先生の顔写真を撮らせ出勤の証拠にする、欠勤が多い場合は減給する」

という実験を行った結果、ものすごい良い効果があった！というものがありました。

確かに、それによって先生の出席率はあがるかもしれません。

でも、あからさまに「あなたのことを信用していません」と言われているようで、

先生にとって決して気持ちの良い職場環境じゃないですよね。

そんな束縛感と強制感の元で、生徒に良い授業が出来るでしょうか？

そもそもは、先生の出席率をあげることが目的では無く、

生徒がよりよく勉強できる環境を作ることがゴールなのでは無いでしょうか・・・。

また、ある援助を実施して、その効果が出てくるのには、

ある程度の長い時間がかかる場合もあると思います。

それでも、最近は早く論文を書くため、早く成果を報告するために、

プロジェクト実施から評価までのタイミングが非常に短くなっているという問題も

あります。

例えばマイクロファイナンス（貧困層、特に女性にビジネスのための小口融資をすること）の

有効性について、最近アカデミック的に大きな議論になっており、

多くの研究論文が発表されています。

それらの多くは、マイクロファイナンス融資開始後、１〜２年後の

利用者の生活の変化に注目したものがほとんどです。

しかし、融資をしてから、ビジネスが成功し、収入が向上し、女性の社会的地位が向上し、

子どもの栄養状態が改善し、学校にきちんといけるようになるまでにどれだけの時間が
かかるでしょうか？

ビジネスの世界では、創業して最初３〜４年赤字は当たり前なんて議論も
よく聞きますよね。

１〜２年での変化が重要ではないとは言いませんが、
もっと長期的な視点で援助の有効性を考えるという観点が

最近の評価業界の潮流では、薄れているように感じています。

＊　＊　＊　＊

というわけで、インパクト評価についてがーーーーっと書いてきました。
まだまだ書きたい内容はたくさんありますが、今日はこの辺で。
一部、難しい内容や英語が多くなってしまいすみません。

かなり長い内容になってしまいましたが、

最後までお読みいただき、ありがとうございました。