August 2011

英語教育学者さんたち、ぜひ実験を

直接指導喉セミナーをご希望のかたは、メールくださいね（question AT estat.us）。詳細はメニューのほうにもあります。 私は仕事で、実験という方法を使った教育研究を読んでいる。それは、アメリカ教育省のプロジェクトの仕事をしているからだ。どんなやりかたをしたら、生徒の数学力、国語力を向上できるか？あるいは、どんなことをしたら、生徒がドロップアウトしなくなるか？というような研究をたくさん読む。で、読んで、その研究が科学的に正しい方法を使っているかを評価する。ただし、結果に関しては感知しない。ある方法Xが実際に効果があったかどうかではなく、その効果を確かめるメソッドが正しいかどうかを判断するのである。 さて、皆さんのとんちを試してみたい。以下の方法は、一つ、大きな失敗を含んでいます。それは何でしょう？まあ、まあ難しいと思います。 ６０人の生徒がいます。ランダムに３０人VS３０人に分けました。グループAは、普通の授業で英語を勉強します。グループBは、特殊なやりかたをします。研究の目的はこの特殊なやりかたに効果があるかを試すものです。グループAは田中先生が教えました。グループBは上田先生が教えました。３週間後に、テストをしました。すると、特殊なやりかたで英語を勉強したグループBのほうが、テストスコアが良かったのです（統計的にも優位でした）。 さて、なにが失敗でしょうか？ 失敗は、この研究のセットアップだと、本当に、あるやりかたが効いたのか、あるいは、じつはたまたま上田先生が田中先生より教え方がうまかったのか？が区別できません。専門用語というほどではありませんが、 TREATMENT　EFFECTとTEACHER EFFECTを区別できないのです。 だから、少なくとも、先生をグループごとに、一人以上にするとか、あるいは、複数の先生が両方のグループを教えるというような工夫がいります。 ネズミなどを使った医学の実験では、ランダムに分配するのが簡単なのですけど、上のように本当の人間を現場で実験する場合は、失敗が色々と起こりやすいのです。 じゃ、これはどうですか？ちょっと難しいですよ。 ６０人の生徒がいます。ランダムに３０人VS３０人に分けました。グループAは、普通の日本の典型的な授業で英語を勉強します。読んで訳すことだけです。グループBは、会話を中心とした授業です。研究の目的はこの特殊なやりかた（会話中心）に効果があるかを試すものです。３週間後に、会話力のテストをしました。すると、特殊なやりかたで英語を勉強したグループBのほうが、会話力テストのスコアが良かったのです（統計的にも優位でした）。 なんか、別に問題がなさそうですね？でも、実は大問題なのです。それは何かというと、片方は、会話の練習をしていません。片方は会話の練習をしました。でテストは会話力テストです。これはテストが実際のTREATMENTの内容に重複しすぎています。つまり、特殊な授業とテスト自体が同じ会話力なので、効果が出ている、、、つまり、特殊な授業自体に効果があるというより、たまたまテストで問われる内容と、TREATMENTと同じです。これはダメですね。片方のグループはそもそも会話をやっていないのですから。 ただ、上のケースは、「う～ん、まあいいか？」ぐらいのボーダーラインです。授業で使った会話の内容とテストで問われる内容が同じだったら、絶対だめです。 （これで思い出しましたけど、TOEICの準備勉強をする、、、ということ自体、実は、教育結果計測学的（EDUCATIONAL MEASURMEENT)には、好ましいことではないのです。特に、準備のときと同じ問題が出たぞ！となったら、ただしく個人の実力を測れませんから。） じゃ、これはどうでしょう？簡単にしますね。 ３０人、３０人とランダムにグループ分けをしました。実際に、TREATMENTを始めると、内容が嫌いな生徒が、グループを変えてたいと望んだので、好きなグループに移りました。 これはだめですね。生徒の好き嫌いが結果に影響を与えてしまいます。こういうのをSELF　SELECTIONといいます。じゃ、これは？実際には、見つけにくい問題ですが、 グループAの先生とグループBの先生達は、友達同士なので、仕事が終わってから、お互いの教え方を議論しました。 これだと、教え方に影響を与えてしまいます。SPILL OVER　と呼んでいる問題です。 英語教育だけにたよらず、社会的、心理的現象というのは、原因が一つとは限りません。英語力がなぜ伸びるか？というのにも色々あるでしょう。だから、二つのグループがあったとして、その違いを、あるTREATMENTを受けるかどうか、だけにすることで、結果を比べるのです。 英語教育者さんたちが発言をするうえで、やはり実験をして結果に基づいたものが好ましいと思います。 でも、多くの先生がたがおっしゃることは、予測できます。私は英語教育学者ではない、、、私はESLの研究者ではない、、、とかですかね？ ちなみに、以下は私自身も関わった実験です。これは教師の受けたある研修が、生徒のリーディング力に影響を与えるかというものです。 http://ies.ed.gov 英語をどうやって教えるのか、いや、他の教科も同じですが、という議論が多いですが、実際に実験をしてみたらよいと思います。 アメリカはものすごいお金をかけて、色々な教育の実験をレビューして、その結果を公表しています。