戻る

安田節之 著

ワードマップ プログラム評価
──対人・コミュニティ援助の質を高めるために


四六判264頁

定価:本体2400円+税

    

発売日 11.05.23

ISBN 978-4-7885-1233-7

◆amazon.co.jpへ
cover

◆紀伊國屋書店Books Web へ

◆7ネットショッピングへ

◆仕分けの時代の評価法!◆

保健・医療・福祉から教育・心理・産業組織に至るまで、いまやあらゆる領域 で対人・コミュニティ援助の取り組みが実施されています。多くの人が関わる これらのプログラムでは、具体的な活動内容や実施状況に加え、効果があるこ とを客観的に検証・報告するアカウンタビリティ(説明責任)が強く求められ ます。これに応えるべく研究が盛んなのが、プログラムの目的から活動のプロ セス・結果までを可視化し、体系的に捉える「プログラム評価」です。好評既 刊書『プログラム評価研究の方法』の著者の一人が、評価を始める準備から報 告書まで、さらにコンパクトに全体像をまとめました。たしかな根拠にもとづ くより良い実践を目指すすべての人にお勧めできる入門書です。


ワードマップ プログラム評価 目次

ワードマップ プログラム評価 序

Loading

目次
プログラム評価 目次
まえがき
第1部 プログラム評価とは何か
1―1 プログラム
1―2 評 価
1―3 調査との違い
1―4 評価目的
1―5 評価者
第2部 プログラムのプランニングとマネジメント
2―1 プログラムの実施背景
2―2 プログラムニーズ
2―3 ニーズアセスメント
2―4 リソースアセスメント
2―5 プログラム・プランニング
2―6 インパクト理論
2―7 ロジックモデル 
2―8 評価可能性アセスメント 
第3部 プログラム評価の方法
3―1 評価クエスチョン
3―2 プロセス評価 
3―3 パフォーマンス測定 
3―4 アウトカム評価 
3―5 アウトカム評価のアプローチ 
第4部 実験デザインに基づく評価
4―1 エビデンス 
4―2 因果関係 
4―3 比 較
4―4 外生要因 
4―5 実験・準実験評価デザイン 
第5部 評価実践の報告とスタンダード
5―1 評価報告書
5―2 評価スタンダード
文献案内
事項索引
人名索引
装幀=加藤光太郎



●まえがき

 

まえがき
 

 プログラム評価とは何であるのか、なぜプログラムそしてその評価が必要なのか、どうやって評価を行うのか。これらの問いを方法論的な視点から掘り下げ、より良いプログラム評価実践のあり方を検討するのが本書の主な目的です。

 

対人・コミュニティ援助を目的としたプログラムは、保健・医療・福祉から教育・心理・産業組織の領域に至るまで、あらゆる領域で数多く実施されています。そして、それらのプログラムをただ単に実施するだけではなく、その内容や実施状況、効果の有無をしかるべき方法論によって検証・報告することが重要視される時代となっています。そのような時代の訪れは、「科学的根拠」や「説明責任」という言葉が日常的に用いられるようになったことにも象徴されていると言えるでしょう。これは社会科学を中心に発展してきた研究方法論が、学術的な領域を超えてますます社会に必要とされていることを意味しているとも読み取れます。

 

筆者は、大学院では主に心理・教育測定のトレーニングを受けましたが、そこで得た専門性を活かし、社会問題の解決や人間の福利(ウェルビーイング)の向上に何らかの形で貢献していきたいと常に願ってきました。これは、そもそも研究者を志した理由でもありましたし、そのような視点を持つことは、研究者として社会とつながっていくためのアイデンティティを築き上げてくれるものでもありました。

 

「プログラム評価」との出会いは、米国・ミズーリ大学カンザスシティ校(University of Missouri-Kansas City)のコミュニティ心理学研究科博士課程(Community Psychology Ph.D. Program)の大学院生の時に遡ります。この研究科は、コミュニティ心理学誕生のきっかけともなったスワンプスコット会議(Swampscott conference)への参加者の一人であるルビン(Bernard Lubin)教授が立ち上げたものであり、必修科目の1つに「Program Evaluation and Research Dissemination」(担当:Joseph Hughey教授)という授業があったのです。この授業においてプログラム評価の重要性を認識したことが、すべての始まりでした。それまで学んできた心理・教育測定法や調査研究法が、様々な問題を解決するための社会サービスや教育プログラムの評価に応用可能なのだということを知り、実践に役立つ研究によって少しでも社会に貢献できるという、自身の研究の意義を見出せたことも大きな収穫でした。

 

ただ、そのような高い目的意識を抱きつつも、現実にプログラム評価のスキルが役立ったのは、大学院生として自立し米国生活を続けていくために必要だったリサーチアシスタントとしての仕事においてでした。何年経ってもネイティブスピーカーほどには流暢にならない英語で現地の大学院生と対等に渡り合い、生活費を稼ぎだすために、効果測定やプログラム評価のスキルはなくてはならないものであり、文字通りの“サバイバル・スキル”となっていました。

 

コミュニティ心理学研究科で1年間を過ごした後、心理・教育測定論とその応用法をより専門的に研究するためにペンシルバニア州立大学(Pennsylvania State University)に移ってからも、数々の測定法・研究法を学ぶ傍ら、リサーチアシスタントとしてプログラムのマネジメントと評価に携わってきました。なかでも、大学付属の教育技術サービス(Education Technology Services)におけるコースマネジメントシステムの効果測定、ワールドキャンパス(World Campus)での遠隔地教育の授業データのマネジメントと評価レポートの作成業務、予防研究センター(Prevention Research Center)での地域の児童・生徒の健全育成を目的としたCommunities That Careプログラムでのリサーチスタッフとしての経験など、ふり返ってみると、知らず知らずのうちに多くのプログラムの評価実践を行ってきました。

 

足かけ9年間にわたる留学生活を終え2005年に帰国してからは、高齢化が加速する日本の地域コミュニティにおいて、地域参加促進を目的としたインフォーマルな住民活動の調査研究、介護予防などの社会福祉サービスの提供主体へのコンサルテーション、地域住民・自治体・大学の協働による生涯学習プログラムのマネジメントなどに直接関わる機会が増えました。それまでは出来上がった枠組み、つまり骨組みがしっかりとしたプログラムの中で方法論の専門家として関わることが多かったのですが、実際に対人・コミュニティ援助を行っている支援者やサービスの利用者と一緒に考え行動することになったのです。

 

しかし、実際のフィールドではプログラム評価というアプローチが一般的ではなく、方法論の専門家というだけでは通用しないことを思い知らされることになりました。プログラムが実施されている地域コミュニティや教育現場に出かけては、どうすれば自分の専門が活かせるのかと迷い、あげくの果てには、“はたして自分は何をしに行ったのだろう”と自問自答することもありました。それでも一部の実践家からは、提供しているプログラムやサービスの効果について、何をどうやって測定すればよいのか、サービスの質を高めるためにはどのような調査を行えばよいのか、といった質問を受けることが多々ありました。その質問に対して、“介入の事前・事後でデータを取ってその差を分析して”といった通り一遍の回答は思い浮かんでも、それが本当に求められていた回答なのか、サービスの質の向上につながるものなのか、確信が持てませんでした。

 

これらの経験で痛感したのは、フィールドで必要とされていたのは、測定法・研究法に関する限定的な説明ではなく、誰がどのようなプログラムを必要としているのか、提供されるサービスのゴールや目標は何であって、どのようにしたら行っている活動の流れや内容を明確化できるのか、そもそも良いサービスとは何でその質を決める基準は何なのか、といった“目に見えない生き物”とでも形容できるプログラムを包括的な視野で捉える考え方の枠組みであるのだということでした。そして、そのような考え方の枠組みを実践家と研究者とが共有することが、科学的な効果測定やエビデンスに基づいた実践(evidence-based practice)を促進し、最終的には、より質の高いサービスの提供につながるのではないか、と考え始めました。

 

本書では、このような問題意識を踏まえつつ、フィールドでの実践や提供されるサービスを幅広い視野から捉えることを可能にするプログラム評価について考えていきたいと思います。

  

本書の構成  まず第1部「プログラム評価とは何か」では、プログラムやサービスの概念およびプログラム評価という活動の内容について、定義を中心にみていきます。また、評価と従来の調査との違いや評価の目的、評価者に期待される役割についても、カバーします。  第2部「プログラムのプランニングとマネジメント」を通して、体系的なプログラムの実施のあり方についてみていきます。プログラムを効果的・効率的に実施するためには、利用者のニーズを適切に把握し、そのニーズをプログラムに反映したゴールや計画(“プランニング”)が必要になります。その際に、プログラムが及ぼす影響を理論化するインパクト理論とプログラムの運営形態をモデル化したロジックモデルが有用となります。これらの理論的枠組みやツールを用いたプログラムの運営(“マネジメント”)は、のちの評価およびアクションに大きく役立ちます。  第3部のテーマは、「プログラム評価の方法」です。プログラム評価の方法は多種多様ですが、それらは、実施中の評価に適しているプロセス評価と実施後の評価に適しているアウトカム評価とに大別できます。一般に、プロセス評価の目的はプログラムの実施内容や実施方法の改善のためのフィードバックであり、アウトカム評価ではプログラムの効果の確認が目的となります。また、評価方法の如何を問わず、重要なのは評価自体の道しるべとなる評価クエスチョンを設定することです。評価という営みの中で迷わないためにも、効率的な評価を行うためにも、評価クエスチョンの役割は大きなものになります。  プログラムの効果(アウトカム)の客観的根拠を示すためには、“科学的”な手法が必要となります。その科学的な手法の応用のベースとなる枠組みが実験デザインです。第4部の「実験デザインに基づく評価」では、まず客観的根拠(エビデンス)とは何か、という点について考え、“原因”となるプログラムと“結果”となるプログラムの効果の間に存在する因果関係の探り方を、比較、外生要因、ランダマイゼーションという関連概念を整理しながら検討します。また、プログラム評価に応用可能な実験・準実験評価デザインについても取り上げます。  第5部「評価実践の報告とスタンダード」では、評価実施後に得られた結果の報告と評価を行う上でのスタンダードについてみていきます。評価結果をまとめたテクニカルレポート(技術報告書)の形式は、報告する相手や用途によって異なります。ここでは、多くのテクニカルレポートに共通する項目について取り上げ、参考として具体的なアウトラインを提示します。最後に、主要な評価スタンダードである、実用性、実現可能性、正当性、正確性についてみていきます。

  

東日本大震災の一日も早い復興を願って
2011年3月 安田節之