クイズ，ワークシート，チェックリストの項目の解説です。
［印刷する］ボタンを押すと，目次（左側のサイドメニュー）以外を印刷することができます。
コア
c1. 学習者分析やニーズ分析
あなたが「教材を作ろう！」と思ったとき，まず何から着手するべきでしょうか？いきなり作り始めようとしても，なかなか作業が進まないかもしれません。作業が進んだとしても，ふと「この教材は，誰向けの，何のための教材だっただろう」と不安になるかもしれません。
教材開発のプロセスを考えてみましょう。教材の「開発」の前には，「設計」の段階が必要ですし，「設計」の前には「分析」の段階が必要になります。このようなシステム的な設計プロセスを「Analysis（分析）」，「Design（設計）」，「Development（開発）」，「Implementation（実施）」，「Evaluation（評価）」の頭文字をとってADDIEモデルと呼びます。図1は，ADDIEモデルとこの解説文の中で説明する内容を分類した図です。
ここでは，「分析」段階で行う学習者分析とニーズ分析について，もう少し詳しく考えてみましょう。
学習者分析では，以下の点などを確認します。
- 前提知識や前提行動：学習者はすでにどこまで知っていて，何ができる状態なのか。（関連：前提テスト）
- 態度：学習内容（情報リテラシー）に対して，関心を示しているか。（→学習者の状態によって動機づけの方策が必要。関連：ARCSモデル）
- 興味：学習者は何に興味があるのか。
- 学力や能力：どの程度の学力や能力があるのか。（→教材のレベルや内容の参考にする。）
- 学習スタイルの好み：どのような学習形態を好むのか。（関連：教材の形態）
- 学習環境：PCやインターネットなどが使える環境か。
- 教育組織に対する態度：学習者は教育組織（大学図書館）にどのような印象を持っているか。（情報リテラシー教育を行う組織だと認識し，信頼してもらえているだろうか？それとも単なる貸出・返却場所？）
- グループの特徴：学習者全体の印象はどのようなものか。（例えば，「今年の1年生は○○の傾向がありそうだ」など。）
学習後のあるべき姿と現状との間にギャップがある場合，それは「ニーズ」と言い換えることができます。ニーズ分析では，学習後のあるべき姿，つまりゴール（学習目標）をどこに設定するかや，ギャップの原因の分析を行います。そして，そのギャップは，教育で解決すべきことなのかを検討します。例えば，あるべき姿が「ILLの依頼を行うことができる」で，現状が「ILLの依頼方法を知らない」とした場合，解決策は独学用教材の作成のほかにも，図書館Webサイトや館内掲示を更新したりパンフレットを作成したりする方法も考えられます。ニーズが見つかったからといってすぐに教育に結びつけるのではなく，どのような方法でギャップを埋めるべきか，広い視点で考えることが必要です。
学習者分析やニーズ分析（特に，あるべき姿と現状の把握）の具体的な方法として，情報リテラシー教育の対象者が学生の場合は，以下の方法などが考えられます。
- 学生に直接聞く（インタビュー，アンケート）
- 学生の様子に詳しい教員に聞く（インタビュー，アンケート）
- どのような授業や課題があるのか調べる（シラバスの調査，教員へのインタビュー）
- 学生の様子を観察する（図書館利用者の観察，授業見学）
- 高校までに何を学んできているのかを調べる（教科書の調査，高校の先生にインタビュー）
ほかにはどのような分析の方法があるでしょうか。是非考えてみてください！
（参考）
- Sean Cordes. Instructional Design Essentials: A Practical Guide for Librarians. Rowman & Littlefield, 2018, 127p.
- R.M.ガニェほか. インストラクショナルデザインの原理. 鈴木克明ほか監訳. 北大路書房, 2007, 462p.
- ウォルター・ディックほか. はじめてのインストラクショナルデザイン: 米国流標準指導法Dick & Careyモデル. 角行之監訳. ピアソン・エデュケーション, 2004, 381p.
c2. 学習目標の明確化3要素
学習目標は，私たち図書館員が「何を教えたいか」ではなく，学習者が「何ができるようになるか」という形で記載しなければなりません。言うまでもなく，「何を教えたいか」ではなく「何ができるようになるか」の方が重要だからです。
それでは，具体的にはどのような点に注意して学習目標を設定しなければならないでしょうか。この章では，学習目標を明確化させるための3要素について解説します。
c2.1. 目標行動
1つ目のポイントは「目標行動」です。
教材を使って学習した結果，学習者が「できる」ようになったことを確認するためには，学習者の頭の中の変化ではなく，私たちにとって観察可能な行動として示してもらう必要があります。
以下の2つの例をご覧ください。どちらの学習目標の方がより具体的だと感じますか？
- 例1 検索語と論理演算子を用いた検索式について理解を深める
- 例2 検索語と論理演算子を用いて，適切な検索式を立てることができる
例1は，「理解を深める」とありますが，何をどれだけ学習し，結果，何ができるようになることを目指すのかが曖昧な書き方です。また，「理解を深めた」か否かを客観的にどのように判断するか，どの状態を「理解を深めた」とするかについては，人によって差が出そうです。
例2は，「適切な検索式を立てることができる」という学習者の行動で目標が表されています。この書き方ならば，評価の際に適切な検索式を立てることができたかどうかを確認すればよく，学習者の学習成果がより判断しやすくなりました。
このように「目標行動」の形で表すことで，図書館員と学習者の双方にとって分かりやすい学習目標に変えることができます。
c2.2. 評価条件
2つ目のポイントは「評価条件」です。
例として，上述の目標行動が評価される条件を考えてみましょう。「検索語と論理演算子を用いて，適切な検索式を立てることができる」という学習目標に対して，「当該データベースのヘルプを見ながら」という条件を課した場合と「何も見ずに」という条件を課した場合では，学習のゴールが異なりますし，そのためのトレーニングも異なります。（皆さんも，学生時代，参考書の「持ち込み可」と「持ち込み不可」の試験では，事前の勉強方法が異なっていたのではないでしょうか？）
→もし，「当該データベースのヘルプを見ながら」という評価条件だったら...
→もし，「何も見ずに」という評価条件だったら...
学習者に当該目標行動をどのような状況でできるようになってもらいたいのかをイメージし，何を使ってもよいのか，あるいはどのような制限があるのかなど「評価条件」を定め，学習目標の中であらかじめ明確にしておくようにしましょう。
c2.3. 合格基準
3つ目のポイントは「合格基準」です。
学習目標が達成されたかどうかは，教材の最後にテスト（事後テスト）を用意して確認することになりますが，その際，合格か不合格かの判断基準が必要になります。
例えば，以下の例の場合は，「全問正解」が合格基準になります。
「合格基準」の例としては，「全問正解」や「90点以上」といった正解率のほかに，「20分以内で」といった制限時間などもあります。
以上，学習目標を明確化させるための3要素として，「目標行動」「評価条件」「合格基準」について解説してきました。
学習目標の設定は，教材作りの最も基礎になる部分です。学習目標が曖昧だと，私たち図書館員が学習目標を基に適切な教材を作成することができなかったり，学習目標を達成したかどうかを確認することができなかったりする原因になります。また，学習者にとっても，自分が「何ができるようになったのか」について最後まで分からない（認識しづらい）ということになりかねません。今後，学習目標を設定する際は，明確化させるための3要素を満たしているかどうか確認するようにしましょう。
（参考）
- Robert F. Mager. Preparing Instructional Objectives. Fearon Publishers, c1962, 60p.
- Robert F. Mager. Preparing Instructional Objectives: A Critical Tool in the Development of Effective Instruction. 3rd ed., Center for Effective Performance, c1997, 193p.
- 市川尚ほか. “071 学習目標の明確化3要素”. インストラクショナルデザインの道具箱101. 鈴木克明監修. 北大路書房, 2016, p.156-157.
- 鈴木克明. “第3章 教材の責任範囲を明らかにする～出入口の話～”. 教材設計マニュアル: 独学を支援するために. 北大路書房, 2002, p.23-38.
c3. 3種類のテスト
「テスト」。この言葉を聞いて，いつ，何のために行うテストが思い浮かびますか？
おそらく多くの方が，経験上，知識やスキルが身に付いたかどうかを判断するために学習の最後に行うテストを思い浮かべたのではないでしょうか？それをここでは「事後テスト」と呼ぶことにします。つまり，事後テストとは，学習目標が達成されたかどうかを測るためのテストのことです。
さて，もし学習者が，教材の学習前に学習目標を達成するほどの知識やスキルをすでに身に付けていたら，その学習者は教材を使って学習する必要がありません。教材を使った学習に入る前に，この教材を使って学習する必要があるかどうかを判断するためのテストを「事前テスト」と呼びます。つまり，事前テストの合格者には教材のスキップを許可し，不合格者には教材に取り組むように伝えるのです。そうすることで，学習者の学習時間を節約することができます。なお，事前テストは，事後テスト同様に学習目標を達成しているかどうかを測るためのテストなので，事後テストと同レベルの問題を出題します。
上述のとおり，事前テストに不合格だった者が教材を使った学習に取り組むことになりますが，教材の内容を理解するために何らかの前提知識やスキルが必要な場合は，この前提条件を満たさなければ教材を使って学習したところで内容に付いていくことができません。例えば，ILLの依頼の方法を学ぶ前には文献検索の仕方を知っておくべきですし，文献検索の仕方を学ぶ前には書誌記述の読み取り方を知っておいた方がよさそうです。このように，教材の中では触れない内容のため予め身に付けておいてほしい前提条件がある場合，この前提条件を満たしているかどうかを確認するテストを「前提テスト」と呼びます。
以上，3種類のテストをまとめると以下のようになります。
- 前提テスト：教材学習前に行う，学習の前提条件を満たしているかどうかを確認するためのテスト。合格の場合のみ，教材での学習が可。
- 事前テスト：教材学習前に行う，教材を使って学習する必要があるかどうかを判断するためのテスト。事前テストに合格の場合はスキップ可，不合格の場合は教材を使って学習してもらう。事前テストは，事後テストと同レベルの問題を出題する。
- 事後テスト：教材学習後に行う，学習目標が達成されたかどうかを測るためのテスト。合格ならば学習終了。
事後テスト以外は耳慣れない言葉だったかもしれませんが，前提テストは学習を成功させるために，事前テストは学習者の時間を節約するために，とても重要な要素になります。これら3種類のテストに学習者自身も慣れていないことが想定されるため，「これから行うテストは，何のために行うテストか」を必ず明記するようにして，学習者が安心してテストを受けられるようにしましょう。
（参考）
- 市川尚ほか. “072 3種類のテスト（前提・事前・事後）”. インストラクショナルデザインの道具箱101. 鈴木克明監修. 北大路書房, 2016, p.158-159.
- 鈴木克明. “第3章 教材の責任範囲を明らかにする～出入口の話～”. 教材設計マニュアル: 独学を支援するために. 北大路書房, 2002, p.23-38.
テストには，様々な実施方法が考えられます。例えば，問題を解く，ある操作を行う，など。ほかにも，ルーブリックという評価基準表を用いた評価の方法もあります。
ルーブリックとは，できるようになってもらいたい行動（目標行動）などを配置した，学習の到達度を測定するための表のことです。例として，2015年に国立大学図書館協会教育学習支援検討特別委員会によって発表された「高等教育のための情報リテラシー基準」の「活用体系表」（p.15）を挙げることができます。
ルーブリックには様々な形式がありますが，基本的なルーブリックの形は，表題や課題，評価尺度，評価観点，評価基準という4つの要素で構成されています（図2）。
（出典：ダネル・スティーブンスら, 2014, p.4）
- 表題や課題には，「このルーブリックは何のためのルーブリックか」が学習者に分かるように記載します。
- 評価尺度には，「初級／中級／上級」，「基礎／応用／発展」，「不合格／合格／優秀」といったレベルを記載します。
- 評価観点には，課題を分解し，それぞれの評価の観点を漏れなく記載します。
- 評価基準には，評価尺度に応じた学習者の行動を記載します。例えば，最高レベルの評価基準は，学習目標を達成した場合の行動になります。評価基準は，評価者が迷わずに評価を付けられるような記述である必要があります。
ルーブリックは，作成に時間がかかる（場合もある）というデメリットもありますが，教師と学習者の双方にとって，現在位置とゴールをはっきりさせる（つまり事前テストと事後テストとして使える）便利なツールであると言えそうです。
（参考）
- 国立大学図書館協会教育学習支援検討特別委員会. 高等教育のための情報リテラシー基準. 2015, 26p.
- ダネル・スティーブンス, アントニア・レビ. 大学教員のためのルーブリック評価入門. 佐藤浩章, 井上敏憲, 俣野秀典訳. 玉川大学出版部, 2014, 180p.
c4. 課題分析
この解説文の順番のとおりに新規に教材を作成してくださった方は，学習者分析やニーズ分析が終わり，学習目標を立て，学習の開始前にはどのような前提知識やスキルが必要で，学習目標の達成を確認するためにはどのようなテストが必要になるかなどの検討を行ったところでしょう。言うなれば，学習の入口と出口が定まった段階だと思います。
さて，この入口と出口をどのように結んでいけばよいでしょうか。ここでは，教材の内容の構成を考える上で重要になる課題分析法について，階層分析を例に説明します。普段，「あれも，これも」と教える内容を詰め込みすぎてしまう方や，順序立てて教えることが苦手な方には，特に参考になるかと思います。
階層分析とは，ゴール（最終的な学習目標）を一番上に置き，この学習目標を達成するための下位の目標（前提条件）を書き出していく分析法です。書き出した目標の更に下位の目標（前提条件）も記載し，最終的に学習者が学習する必要がないスキル（学習者がすでに身に付けているスキル）まで到達したら分析を終了します。図3に単純な階層分析の形を示します。
階層分析は，図3のように必ず一列になるわけではありません。図4は，実際に階層分析を行った例です。最終的な学習目標は「文献を入手することができる」ことだとします。必要な文献がすべて図書館にあるわけではありませんから，下位の学習目標としてILLの申込方法を知っておいた方がよさそうです。ILLを申し込む前には，自分の大学で入手できないかや，Open Accessになっていないかを調べるスキルが必要になります。「OPACを検索することができる」，「大学で購読している電子ブックや電子ジャーナルを検索することができる」，「Open Accessかどうかを調べることができる」について，どの順番から学んでもよいと判断した場合は，図4のように並べて記載しましょう。これらの検索には，PC等を使ってインターネット検索を行うことができることが前提条件になりますが，これは学習者がすでに身に付けているスキルだと考えて教材では扱いません。
このように，階層分析は，最終的な学習目標を起点に，「学習者がこのスキルを修得するために必要となる，より下位のスキルは何か？」と問うことを繰り返すことで分析を行います。なお，これら一つ一つの学習目標も目標行動の形で記載しておくと，目標を達成したかどうかが評価しやすくなります。
（参考）
- R.M.ガニェほか. “第8章 学習課題の分析”. インストラクショナルデザインの原理. 鈴木克明ほか監訳. 北大路書房, 2007, p.174-195.
- 鈴木克明. “第5章 教材の構造を見きわめる”. 教材設計マニュアル: 独学を支援するために. 北大路書房, 2002, p.61-75.
図5は，以前私が「［60分で学ぶ！］大学生のための資料検索入門」と題して，独学用の紙教材を作成した時の階層分析結果です。
階層分析を行った後に，教材の章立てを検討しました。図5の青い破線で囲んである部分は，チャンク（chunk）と呼ばれるもので，一つのチャンクには新しい学習内容や練習問題など（参考：ガニェの9教授事象の4～7）が含まれます。
図6は，教材の目次とチャンクの対応を示したものです。目次の第1章～第5章までが，チャンク(1)～(5)に該当します。各章のタイトルは平易で短い文章にし，各章の冒頭でチャンク毎の学習目標を提示，各章の最後には確認問題を用意しました。
「c4. 課題分析」では，例として階層分析を取り上げましたが，課題分析の方法には，ほかにも様々な方法があります。例えば，クラスター分析は，関連する内容ごとにかたまりに分けていく分析方法です（図7）。階層分析との違いは，クラスター分析には順序性がないことです（どこから学んでもOK）。何かをたくさん暗記するような場面においては，無秩序に覚えていくのは効率が悪いため，関連する内容でかたまりに分けたクラスター分析が役に立ちます。
c5. ガニェの9教授事象
独学用教材を作成する際には，学習者がひとりで学習しても迷わない工夫が必要になります。対面の教育ならば，学習者の表情や行動を見て，何のために取り組むのか，どのように取り組むのか，今やっていいことやダメなこと，学習結果の合否などを状況に応じて直接口で伝えることができます。しかし，独学用教材の場合は，必要な指示等を予め教材に用意しておかなければならないのです。
それでは，教材にはどのような項目を盛り込んでおくべきでしょうか。
アメリカの教育心理学者でインストラクショナルデザインの生みの親の一人でもあるガニェ（Robert M. Gagné）は，「インストラクション」とは，学習者の内側の活動を外側から支援する事象であるとし，学習者の学習（より正確には情報処理）を支援するための教授事象を認知学習理論に基づき9つに整理しました。これが，表1に示す9教授事象と呼ばれるものです。
| 1. 学習者の注意を喚起する |
| 2. 学習者に目標を知らせる |
| 3. 前提条件を思い出させる |
| 4. 新しい事項を提示する |
| 5. 学習の指針を与える |
| 6. 練習の機会をつくる |
| 7. フィードバックを与える |
| 8. 学習の成果を評価する |
| 9. 保持と転移を高める |
この教授事象は，この順番である必要はありませんし，必ずすべてを取り入れなければならないわけでもありません。また，独学用教材を設計するために特化した事象というわけでもありません。しかし，教材を作成する上で大いに参考になります。
学習者の注意をひきつけ（事象1）（関連：ARCSモデルの「注意（Attention）」），学習者に目標を明示し（事象2）（関連：学習目標），前提条件を確認し（事象3）（関連：前提テスト），これから学ぶことを提示し（事象4），学習者がすでに知っていることと今学ぼうとしていることを結び付け（事象5），「分かったつもり」ではなく「本当に理解した」ことを学習者自身が実感できるように練習の機会をつくり（事象6），練習の結果に対して合っていたら「正解」，間違っていたら正解へ導くフィードバックを与え（事象7），学習の成果を評価し（事象8）（関連：事後テスト，カークパトリックの4段階評価のレベル2），学んだ知識やスキルを長く保持したり，別の場面で応用できるように工夫する（事象9）。学習内容が多い場合は，補足2で取り上げたように複数のチャンクに分け，事象1～3の後に，チャンクの数だけ事象4～7を繰り返し，事象8～9に移ることになります（ただし，前述のとおり，必ず事象1～9の順番である必要はありません）。
さて，あなたが「教材の導入部分に学習目標を明示したし，教材の進め方についても記載した。事後テストの前に練習の機会を設けたし，模範解答も記載しておいた。これで，学習者は迷わずにこの教材を使うことができるはずだ」と思ったらちょっと待ったぁー！分かりやすい教材かどうかを判断するのは作成者ではなく，学習者です。学習者による形成的評価を実施し，本当に独学用教材として使えるかどうか確かめましょう。
（参考）
- R.M.ガニェほか. “第10章 9教授事象”. インストラクショナルデザインの原理. 鈴木克明ほか監訳. 北大路書房, 2007, p.218-236.
c6. 教材の形態
教材の形態の選択には，自分自身が使えるツール，お金や時間といったリソース（あるいは制限）のもと，学習者のニーズも踏まえた上で，それぞれの形態の特性を理解して決定しなければなりません。教材は，文字だけでよいのか，それとも動画などがあったほうがよいのか。印刷や配布を想定しているか否か。LMS（学習管理システム。Learning Management Systemの略）を活用するのか，しないのか。もちろん答えは一つではありません。どのような形態を選択するとしても，単に前例に倣うだけでなく，形態を選択した理由を説明できるようにしたいものです。
c7. 教材作成時の評価と改善
自分の中で教材のver.1が完成したら誰かにチェックしてもらいたくなります。このように，教材を完成させる前に行う，教材の改善を目的とした評価を形成的評価（formative evaluation）と呼びます。
さて，私たちが情報リテラシー教育のための教材を作成し，その教材を評価，改善したいと思ったとき，誰にチェックをお願いしたらよいでしょうか？
c7.1. エキスパートレビュー
まず最初に思いつくのが，情報リテラシー教育に携わっている（携わっていた）上司や同僚などほかの図書館員です。これはつまり，教材の内容に詳しい専門家による評価，エキスパートレビューであるといえます。ほかにも，ある学問分野に特化した教材を作成した場合は，その分野の教員に教材のチェック（例えば，ツールの使用方法や練習問題の適切さなどの評価）を依頼することも考えられます。
c7.2. 学習者検証の原理に基づく形成的評価
そして，忘れてはならないのが学習者による評価です。よい教材かどうかは専門家が判断するのではなく，実際に学習が成立したかどうかで判断する。これを「学習者検証の原理」と呼びます。もし期待どおりの学習が成立しないならば，学習者が悪いのではなく，私たちの作った教材に欠点があるのです。
学習者による形成的評価を行う際には，次のものを用意します。
- 教材そのもの
- 3種類のテスト
- 質問項目（アンケート用紙やインタビュー項目）
- （実際に目の前で教材を試用してもらう場合は）観察プランと学習の経過時間を記録する用紙
以下に，この評価で明らかにすることができそうなことを例示してみます。質問項目や観察プランを考える際に参考になれば幸いです。ほかにも評価の着眼点はたくさんあると思いますので，是非考えてみてください。
- 学習目標は達成されたか。（事前テストと事後テストの分析）
- 学習目標は明示されていたか。学習目標を意識しながら取り組むことができたか。
- 分かりやすさはどうだったか。躓いた箇所はなかったか。
- 教材全体のレベルや量は適切だったか。
- 練習問題のレベルや量は適切だったか。
- 学習にどのくらいの時間がかかったか。（それは，教材作成者が想定していた時間とどのくらいの差があったか。）
- 学習意欲はどうであったか。例えば，注意，関連性，自信，満足感の観点から。（関連：ARCSモデル）
1967年，スクリバン（Michael Scriven）は，教材の開発途中において教材を改善するために行う評価を形成的評価と呼び，教育プログラムが完了した時点で開発の過程とは独立してその成果を評価する総括的評価（summative evaluation）と区別しました。
ブルーム（Benjamin S. Bloom）は，スクリバンが用いた形成的評価という語について，カリキュラムの作成時だけでなく，教育や学習活動の中でも有効であるとし，教育を行う前の学習者の状態を測るための評価を診断的評価（diagnostic evaluation），教育を行う中で学習活動の調整等のために行われる評価を形成的評価，教育の終了後に教育，学習活動の結果を把握するための評価を総括的評価と呼んでいます。
このように，研究者によって形成的評価の考え方に若干（？）の違いがみられるものの，共通するのは，「教育や学習が完全に終わってしまう前に，改善のための評価を行おう」ということです。
上の解説文では，「学習者による評価を行おう！」ということしか記載しませんでしたが，厳密には，学習者による形成的評価には3つのステップがあります。それが，「1対1評価」，「小集団評価」，「実地試行（実地テスト）」です。
- 1対1評価：学習者1名に対して，教材を試用する様子をつきっきりで観察し，適切なタイミングで対話を行うことで評価を行う。
- 小集団評価：学習者8～20名程度に対して，1対1評価後に改善した教材を試用してもらい，独学が可能かを確かめる。
- 実地試行（実地テスト）：学習者30名程度に対して，実際の学習場面に近い状況で教材を試用してもらい，学習が成立するかを評価する。
この3ステップについて更に詳しく知りたい方は，以下の図書などが参考になると思います。
- 鈴木克明. “第8章 形成的評価を実施する”. 教材設計マニュアル: 独学を支援するために. 北大路書房, 2002, p.113-128.
- ウォルター・ディックほか. “第10章 形成的評価の設計と実施”. はじめてのインストラクショナルデザイン: 米国流標準指導法Dick & Careyモデル. 角行之監訳. ピアソン・エデュケーション, 2004, p.256-291.
図8～図10は，以前私が独学用の紙教材「［60分で学ぶ！］大学生のための資料検索入門」を試作した際，学習者に協力してもらって1対1評価を行ったときに使用したアンケート用紙（図8），観察プラン（図9），経過時間記録用紙（図10）です。これが「正解」というわけではありませんが，何かの参考になれば幸いです。
（参考）
- Benjamin S. Bloom et al. Handbook on Formative and Summative Evaluation of Student Learning. McGraw-Hill, c1971, 923p. (B.S.ブルームほか. 教育評価法ハンドブック: 教科学習の形成的評価と総括的評価. 梶田叡一ほか訳. 第一法規出版, 1973, 468p.)
- B.F. Skinner. The Technology of Teaching. Appleton-Century-Crofts, c1968, 271p.
- Michael Scriven. "The Methodology of Evaluation". Perspectives of Curriculum Evaluation. Ralph W. Tyler et al., eds. Rand McNally, c1967, p.39-83, (AERA Monograph Series on Curriculum Evaluation, 1).
- Sean Cordes. "Chapter 6 Evaluating Instruction: Formative and Summative Assessment". Instructional Design Essentials: A Practical Guide for Librarians. Rowman & Littlefield, 2018, p.79-95.
- ウォルター・ディックほか. “第10章 形成的評価の設計と実施”. はじめてのインストラクショナルデザイン: 米国流標準指導法Dick & Careyモデル. 角行之監訳. ピアソン・エデュケーション, 2004, p.256-291.
- 大村彰道. “プログラム学習の原理”. 新教育の事典. 東洋ほか編. 平凡社, 1979, p.719-721.
- 鈴木克明. “第8章 形成的評価を実施する”. 教材設計マニュアル: 独学を支援するために. 北大路書房, 2002, p.113-128.
- 藤田恵璽. “形成的評価”. 新教育の事典. 東洋ほか編. 平凡社, 1979, p.256-258.
c8. 学習後の評価（カークパトリックの4段階評価）
「図書館のアウトカム評価」，「図書館の貢献度」，「データに基づいた学習支援」，「アカウンタビリティ（説明責任）」といった耳の痛い（？）これらのキーワード...。大学図書館が行っている情報リテラシー教育について，もちろんその活動を評価しなければなりませんが，「講習会後に受講者アンケートは取っているが，ほかに何をしなければならないのだろうか」と不安に思われた方は，評価をレベル分けして整理するところから始めてみてはいかがでしょうか？
アメリカの経営学者カークパトリック（Donald L. Kirkpatrick）は，1950年代に4段階評価法を提案しました。4段階（The four levels）とは，以下の表2に示す4つのレベルのことです。ざっくり言うと，レベル1で「受講者はどのような反応を示したか？」，レベル2で「本当に学習したといえるのか？」，レベル3で「行動は変化したか？」，レベル4で「最終的に組織にどのような結果をもたらしたか？」を評価することになります。この4段階評価法は，大学教育に特化した評価モデルというわけではなく，どちらかというと企業研修を想定しています。しかし，大学教育の評価に対しても重要な視点であると私は考えています。
| レベル | 説明 |
|---|---|
| レベル1：反応（Reaction） | プログラムの受講者がそのプログラムに示した反応。受講者の満足度。 |
| レベル2：学習（Learning） | プログラムに参加したことで，受講者の知識が増加したり，スキルが向上したり，態度が変化したりする度合い。 |
| レベル3：行動（Behavior） | 受講者がプログラムに参加したことで生じた行動の変化。 |
| レベル4：結果（Results） | 受講者がプログラムに参加したことで生じた最終的な結果。 |
カークパトリックによれば，この4つのレベルは，評価の際にすべてカバーされるべきだとしています。どれかのレベルを飛ばした場合，問題の所在がどこにあったのか分からなくなってしまうからです。
...とはいうものの，大学図書館が行う情報リテラシー教育の現状を見てみると，実際にはレベル1かレベル2までの評価が多いように感じます。まずは，その先のレベルの評価があることを認識し，できるところから進めていきましょう！
c8.1. レベル1：反応
受講者の反応を確かめること，そして受講者から好意的な反応を得ることはとても重要なことです。ただし，好意的な反応が学習を確約するわけではありません。受講者から「とても勉強になった。役に立ちそうだ。だから満足だ」といった反応が得られても，本当に学んだのか，本当にその後役に立ったのかは，受講直後の受講者の反応（レベル1）では分からないからです。とはいえ，否定的な反応が得られた場合は，学習意欲が下がり，学習そのものが成立しない可能性があります。ということは，やはりレベル1では，好意的な反応を得ることを目指したいものです。
レベル1は，プログラム後の受講者アンケートなどによってデータを収集することができます。まず，受講者の反応で何を調べたいのかを決定し，それを定量的に測れるフォームをデザインしましょう。貴重なコメントが得られるかもしれないため，自由記述欄を設けておくことも重要です。回収率はなるべく100%を目指したいので，アンケートに回答するところまでを受講者の必須の作業にするとよいかもしれません。
c8.2. レベル2：学習
レベル2の「学習」では，受講者の知識やスキル，態度の変化を確認します。これは，「教育では，知識，スキル，態度の3つを必ず変えなければならない」ということではありません。教育の目的によって，これら3つのどの部分に着目するかは変わります。したがって，学習を評価するためには，事前に具体的な目的（知識を増やしたいのか，スキルを向上させたいのか，態度を変えたいのか）を決定しなければなりません。
人によっては，「行動に変化が起こらない限り，学習は行われたことにならないのだ」と考える方もいるでしょう。一方で，カークパトリックの4段階評価では，「知識の増加」，「スキルの向上」，「態度の変化」の内，1つ以上の変化が起きるからこそ，行動に変化が現れるのだと捉えています。
レベル2は，例えば，事前テストと事後テストによってデータを収集することができます。
c8.3. レベル3：行動
受講者がその教育に満足し（レベル1），実際に知識やスキルなどを得られたとしても（レベル2），受講後に実際に学んだことを生かせなければ，意味はほとんどありません。受講後しばらく経った後に，受講者にどのような行動の変化が見られたか。これがレベル3で評価する内容です。レベル3の調査は，プログラム終了直後の調査（レベル1とレベル2）を経て，時間を置いてから再度調査を行うという意味で「フォローアップ調査」（追跡調査）と言い換えることもできます。
行動が変わるためには，以下の4つの条件が必要になります。
- 受講者は，「変わりたい」と思っている
- 受講者は，何をすべきか，どのようにすべきかを知っている
- 受講者は，適切な環境下におかれている
- 受講者は，行動が変化することで報われる
これを大学図書館が行う情報リテラシー教育の内，例えば情報探索スキルを向上させるプログラムを例に考えてみると，以下のようになるでしょう。
- 受講者は，「学んだ検索方法を試してみたい」と思っている
- 受講者は，そのための知識やスキルをすでに身に付けている
- 受講者は，授業などで実際に検索を行う場面がある（教員によって検索を行うことが求められている）
- 受講者は，学んだ検索方法を試したことで満足感や達成感を感じたり，レポートの評価が上がったりする
受講者の行動を変えることは容易ではありませんが，以上のように書き出してみると，学習者分析やニーズ分析，動機づけ，学習目標を達成するための教授設計，教員との連携などが，受講者の行動変容のためのキーワードになりそうなことが分かります。
レベル1やレベル2は，プログラムの終了直後に評価が行われますが，レベル3は，実際に行動が変わりそうな頃合いに評価を行わなければならず，実施タイミングという点で評価の難しさがあります。受講対象者が学生の場合は，いつ，どのような授業等があるのかをある程度把握しておくと，評価の実施時期の判断基準になるでしょう。評価方法は，受講者本人，あるいは受講者の行動に詳しい人（科目担当教員や指導教員など）に，アンケートやインタビュー調査を行います。
c8.4. レベル4：結果
受講者が学び，受講者の行動が変わったことは，組織や組織の目標にどのような効果をもたらしただろうか。これがレベル4で評価する内容です。例えば，企業研修では，レベル4は，生産量の増加，品質の向上，コストの削減，事故の減少，売上の増加，離職率の減少，利益の増加などによって測られることになります。
大学図書館が行う情報リテラシー教育の場合は，学生の成績向上や研究力の向上（例えば，卒論の質の向上）など，大学にもたらした効果を評価します。企業と異なりなかなか定量的に表すことが難しいものの，「学習者がどれだけ伸びたか」だけでなく，「それは自大学の目指すゴールにどのような効果をもたらしたか」という視点は非常に重要です。大学図書館が大学の附属施設である以上，自大学がどこを目指しているかは常に把握しておきたいところです（自戒を込めて...）。
（参考）
- Donald L. Kirkpatrick, James D. Kirkpatrick. Evaluating Training Programs: The Four Levels. 3rd ed ed., Berrett-Koehler, c2006, 379p.
- 鈴木克明. “第6章 システム的アプローチと学習心理学に基づくID”. 人間情報科学とeラーニング. 野嶋栄一郎ほか編. 放送大学教育振興会, 2006, p.91-103.
オプション
o1. ARCSモデル（あーくすもでる）
例えば，対面の講習会では，学習者は静かに座って聞いているだけでよかった（？）かもしれません。講師側の図書館員にとっても，同期型の教育ならば，学習者の反応を確認して，その都度，適切な措置を取る（例えば，注目を促したり，関連する話題を追加したりする）ことができます。
一方で，独学用の教材では，教材を作成する段階で，学習者が能動的に学習に取り組み，一人で学習を継続，完了させるための工夫を盛り込むこと，つまり学習意欲をデザインすることが求められます。
ここでは，1980年代にアメリカの教育工学者ケラー（John M. Keller）によって提唱された学習意欲をデザインするモデルであるARCSモデルについて解説したいと思います。ケラーは，学習意欲に関する様々な文献をレビューし，動機づけの概念をその共通する属性に基づいて整理した結果，「注意（Attention）」，「関連性（Relevance）」，「自信（Confidence）」，「満足感（Satisfaction）」の4つに分類できることを発見しました。これらの頭文字を取って，このモデルをARCSモデルと呼びます（表3）。
| 主分類枠 | 定義 | 作業質問 |
|---|---|---|
| 注意 （Attention） |
学習者の関心を獲得する。学ぶ好奇心を刺激する | どのようにしたらこの学習体験を刺激的でおもしろくすることができるだろうか？ |
| 関連性 （Relevance） |
学習者の肯定的な態度に作用する個人的ニーズやゴールを満たす | どんなやり方で，この学習体験を学習者にとって意義深いものにさせることができるだろうか？ |
| 自信 （Confidence） |
学習者が成功できること，また，成功は自分たちの工夫次第であることを確信・実感するための助けをする | どのようにしたら学習者が成功するのを助けたり，自分たちの成功に向けて工夫するための手がかりを盛り込めるだろうか？ |
| 満足感 （Satisfaction） |
（内的と外的）報奨によって達成を強化する | 学習者がこの経験に満足し，さらに学びつづけたい気持ちになるためには何をしたらよいだろうか？ |
鈴木は，このARCSモデルの4分類を「注意（Attention）」は「おもしろそうだな」，「関連性（Relevance）」は「やりがいがありそうだな」，「自信（Confidence）」は「やればできそうだな」，「満足感（Satisfaction）」は「やってよかったな」というように，学習者の立場に立った分かりやすい言葉で言い表しています。
どうでしょうか？ARCSモデルについて，なんとなくイメージがつかめましたか？
ARCSモデルの4分類は，それぞれ更に3つずつの下位分類に分かれています。ここからは，それぞれの下位分類について確認しながら，学習意欲を高めるための具体的なアイディアについて一緒に考えていきましょう。（以下に挙げるアイディアは，ほんの一例です。ほかにどのようなアイディアが考えられるか，ぜひ考えてみてください！）
（参考）
- J. M. ケラー. 学習意欲をデザインする: ARCSモデルによるインストラクショナルデザイン. 鈴木克明監訳. 北大路書房, 2010, 351p.
- 鈴木克明. “資料7 教材改善に役立つケラーのARCSモデル～学びへの意欲を4つに分けて考える～”. 教材設計マニュアル: 独学を支援するために. 北大路書房, 2002, p.176-177.
o1.1. 注意（Attention）
学習者の関心や興味をひきつけること。
（アイディア例）
- 教材の表紙にタイトルのみを記載するのではなく，目立つ文字で謳い文句（学習の理由や効果など）を記載して注目を引く。
- 教材に「○○は重要だ」とだけ記載して説明するのではなく，「ある先輩の話：『○○は重要だ』」というように具体的なストーリーを掲載して興味を持ってもらう。
- 手順等を説明する際に，文章だけでなく，視覚的に注目を集めやすいフローチャートや漫画を用いて説明する。
A-2 探求心の喚起
学習者の探求心や好奇心を刺激すること。
（アイディア例）
- 疑問を投げかける。例えば，「ある情報を探す時，Google検索を行って上位にヒットした情報のみに目を通す。この方法に問題はあると思うか？」など。
- 図書館員と学生のキャラクターを登場させ，学生目線での疑問やつまずきに答えるような構成にする。
- あるテーマで検索を行い，主張が異なる論文を見比べる。
A-3 変化性
学習者の注意を維持すること。
（アイディア例）
- 単調なレイアウトを避ける。キーワードを太字にする。情報の区切りには空白を設ける。文字だけでなく，図，表，画像なども用いる。
- 長い解説を避け，「解説→練習問題→まとめ」など内容に変化をもたせる。
- 各章の冒頭に，教材全体の見取り図（最終目標と中間目標を配置したもの）を挿入する。学習者は，章が変わるごとに見取り図によって，教材全体の構造，自身の現在の位置，ゴールを認識できるようになる。
o1.2. 関連性（Relevance）
学習者にゴールを目指させること。
（※そのためには，学習者のニーズを把握する必要がある。）
（アイディア例）
- 学習によって期待される効果を記載し，ゴールを達成することのメリットについて説明する。例えば，教材の内容をマスターすればレポートや論文を執筆する際の資料収集に役立つことを説明し，「教材に取り組んでみたい」と思ってもらえるようにする。
- 学習者が学習を終えた後に何ができるようなるのかを具体的に説明する。
- 教材のゴールが将来的にどのようなメリットに結びつくのか説明する。
R-2 動機との一致
学習を学習者の動機や価値観，興味に結びつけること。
（アイディア例）
- 学習者の専門分野（興味のある分野）に関する検索課題を出す。自分の興味のあるキーワードで検索演習に取り組めるようにする。
- 教員や先輩といったロールモデルのコメントを掲載する。
- 目標の達成を目指す行動を刺激するパズルやゲームなどを教材に取り入れる。
R-3 親しみやすさ
教育を学習者の経験や既有知識，スキルに結びつけること。
（アイディア例）
- 授業と図書館員が作成した教材との連結を図る。例えば，授業で得た専門知識をもとに，教材を使ってレポートのテーマの絞り込みや検索語の検討を行うなど。
- 全学部に対応した複数の課題を用意しておき，学習者がその中から自分で課題を選択できるようにする。
- 成果物を作成させる際，使用するツールは指定せず，学習者が自分の得意なツール（例えば，Microsoft Office，Webページ，動画など）を選べるようにする。
o1.3. 自信（Confidence）
学習目標や評価基準を明示して，成功への期待感を持たせること。
（アイディア例）
- 学習目標を観察できる行動の形（目標行動）で明確に示す。
- 学習者が理解できる書き方で学習目標を示す。例えば，データベースの使い方を学ぶ教材で，学習者がそのデータベースについて何も知識がない場合，単に「○○（データベース名）の使い方」では学習者に伝わらない。頭に「自然科学系の論文を検索する○○（データベース名）の～」や「日本の論文や研究データを検索する○○（データベース名）の～」といった説明を加える。
C-2 成功の機会
学習者が自分の進歩を確かめられるようにすること。
（アイディア例）
- 内容毎に確認問題を設ける（参考：チャンク）。
- 事後テストの前に十分な量の練習問題を設ける。
- 練習問題や事後テストなどは，適切な内容と難易度にする。（引っ掛け問題や極端に難しい問題は出題しない。これらは，学習者を不安にさせるだけである。）
C-3 個人的なコントロール
学習者が学習の成功を自身の努力や能力の結果だと思えるようにすること。
（アイディア例）
- 練習問題や事後テストなどで，極端に簡単な問題のみを出題することは避ける。極端に簡単な問題は，学習者自身が「できて当たり前」と感じて成功が自身の努力や能力に結びつかず，自信が高まらないため。
- 学習の進め方（「どの教材から取り組むか」，「どの章から読み進めるか」，「解説を先に読むか確認テストを先に解くか」など）を学習者自身に選択させる。
o1.4. 満足感（Satisfaction）
学習者の学習に対する肯定的な気持ち（「楽しい」，「やってよかった」，「これからも学びつづけたい」など）を促進しサポートすること。
（アイディア例）
- 練習問題や事後テストの後に，努力と達成に対する学習者の肯定的な気持ちを強化するようなフィードバックを表示する。
- ゴールを達成した後に，今回学んだことの価値を再認識してもらうため，学習のメリットを再度強調する。
- 教員と連携し，教材で学んだことを実際に生かせる場を用意する。例えば，資料検索について教材で学んだ後に，授業の課題として資料検索とレポート執筆を行うなど。教材での学びと実際に活用する場面の時間差を短くすることで，「教材で学んでおいてよかった」とすぐに実感できるようにする。
- 継続的な動機づけのため，教材の最後に更に発展的な内容を扱った教材や参考文献を提示する。
S-2 外発的な報酬
外発的な報酬を与えること。
（※外発的な報酬は，それ自体が学習の動機になってしまうと内発的動機づけを阻害する可能性があるため，慎重に。ここでいう「報酬」とは，高額な金品のことだけでなく，問題に正解した時に表示される「おめでとう」のコメントなど，外から与えられる本人の動機づけにプラスの影響を及ぼすあらゆるものを指す。）
（アイディア例）
- 練習問題や事後テストで正解した時に，「正解」だけではなく，短い称賛コメントも表示させるようにする。例えば，事前テストでは不正解だったが，事後テストでは全問正解できるようになったことを褒めるなど。
- オンライン上で教材を一つ選び，学習が終了するたびに合格マークが表示される。
- すべての教材の学習が終わったことを報告すると合格証明書（例えば「情報検索マスターの証」）が発行される。
S-3 公平感
教育の内容の整合性を保ち，公平な評価を行うこと。
（アイディア例）
（参考）
- John M. Keller. Motivational Design for Learning and Performance: The ARCS Model Approach. Springer, c2010, 353p. (J. M. ケラー. 学習意欲をデザインする: ARCSモデルによるインストラクショナルデザイン. 鈴木克明監訳. 北大路書房, 2010, 351p.)