In this video, I'm going to talk about assessment issues in Content and Language Integrated

このビデオでは、内容言語統合における評価の問題についてお話しします。

Learning, CLEW.

学習、CLEW。

Existing research on CLEW has focused more on students' learning outcomes and classroom interaction processes.

CLEWに関する既存の研究は、生徒の学習成果や教室での相互作用のプロセスに重点を置いてきた。

It is noticed that assessment has so far been something of a blind spot in many CLEW programs and research.

多くのCLEWのプログラムや研究において、評価はこれまで盲点であった。

But why is assessment important and worth examining?

しかし、なぜ評価が重要で、検討する価値があるのだろうか？

First, we are all familiar with the potential backwash effect of assessment, which means that assessment will affect teaching and learning behaviours.

第一に、私たちは皆、評価の潜在的な逆流効果、つまり評価が教育や学習行動に影響を与えることをよく知っている。

Hence, it is important to examine the nature of CLEW assessment and see the implications for teaching and learning.

したがって、CLEWの評価の本質を検討し、教育と学習への影響を見ることが重要である。

Second, how students are assessed directly affects the evaluation of students' learning outcomes in CLEW programs.

第二に、学生の評価方法は、CLEWプログラムにおける学生の学習成果の評価に直接影響する。

In other words, if we don't critically examine the assessment in CLEW, how do we know that we are evaluating students' learning outcomes accurately and conducting fair comparison between CLEW and non-CLEW students?

言い換えれば、CLEWでの評価を批判的に検証しなければ、学生の学習成果を正確に評価し、CLEWの学生とそうでない学生の間で公正な比較を行っていることをどうやって知ることができるでしょうか？

This is especially important in contexts where CLEW students are compared with non-CLEW counterparts in high-stakes public examination.

これは、CLEWの生徒が、CLEWでない生徒と比較されるような公的試験において特に重要である。

Now, let's turn to the importance of assessment in the teaching and learning process.

次に、教育・学習プロセスにおける評価の重要性について考えてみよう。

We usually start with the curriculum goals and learning objectives, which refer to what we want our students to learn.

私たちは通常、カリキュラムの目標や学習目的から始めます。

Based on the stated learning objectives, teachers design instructional activities that will help students learn.

明示された学習目標に基づき、教師は生徒の学習に役立つ指導活動をデザインする。

Then, assessment allows teachers to know whether students have achieved the learning objectives.

そして評価によって、教師は生徒が学習目標を達成したかどうかを知ることができる。

The assessment data then reflects students' strengths and weaknesses, which in turn inform the next teaching and learning cycle.

評価データは生徒の長所と短所を反映し、次の指導と学習のサイクルに反映される。

The diagram here underscores the importance of aligning the three components to promote effective teaching and learning.

この図は、効果的な指導と学習を促進するために、3つの要素を整合させることの重要性を強調している。

When the alignment of objectives, instruction, and assessment is applied to CLEW, it becomes a bit more complicated.

目標、指導、評価の調整をCLEWに当てはめると、少し複雑になる。

For the learning objectives, teachers need to pay attention to both content and language learning objectives.

学習目標については、教師は内容学習目標と言語学習目標の両方に注意を払う必要がある。

For instruction, teachers need to integrate or counterbalance content and language teaching so as to help students to achieve the dual goal.

指導においては、生徒が2つの目標を達成できるように、教師は内容教育と言語教育を統合したり、バランスを取ったりする必要がある。

When assessing students, teachers also need to pay attention to the content, cognitive, and language dimensions, but many teachers may not be aware of these.

生徒を評価する際、教師は内容、認知、言語の側面にも注意を払う必要があるが、多くの教師はこれらを意識していないかもしれない。

These are some issues associated with assessment in CLEW.

これらは、CLEWにおける評価に関連するいくつかの問題である。

First, do we assess language or content first?

まず、言語を評価するのか、内容を評価するのか。

Second, do we sometimes assess one and not the other?

第二に、我々は一方を評価して他方を評価しないことがあるのだろうか？

If so, which one do we assess, and when, why, and how?

もしそうなら、我々はどれを、いつ、なぜ、どのように評価するのか？

Third, when do we assess, and then how do we assess?

第三に、いつ評価するのか、そしてどのように評価するのか。

Let's try to explore these questions.

これらの疑問を探ってみよう。

In the what question, we should assess what we set as the learning objectives so that the assessment is valid.

Whatの質問では、学習目標として設定したものを評価し、その評価が妥当であるようにする。

Therefore, if CLEW pays attention to both content and language objectives, both should be assessed.

したがって、CLEWが内容と言語の両方の目標に注意を払うのであれば、両方を評価する必要がある。

In many CLEW programs, teachers pay more attention to content knowledge, but we would like to emphasize that the language demands involved in assessment should not be ignored.

多くのCLEWプログラムでは、教師は内容的知識にもっと注意を払うが、評価に関わる言語的要求を無視すべきではないことを強調したい。

I will come back to this point later.

この点については、また後で触れることにしよう。

In terms of content, teachers should assess students' content knowledge and cognitive skills.

内容に関しては、教師は生徒の内容知識と認知スキルを評価すべきである。

For example, whether students can record the knowledge, apply what they have learned, and demonstrate higher-order thinking skills such as analyzing and evaluating.

例えば、生徒が知識を記録できるかどうか、学んだことを応用できるかどうか、分析や評価といった高次の思考力を発揮できるかどうかなどである。

Regarding assessment of language, teachers need to be aware of the language demands that assessment questions impose on students.

言語の評価に関しては、教師は評価問題が生徒に課す言語的要求を意識する必要がある。

For example, when attempting assessment, students usually need to read and understand the questions, which involve receptive language skills.

例えば、アセスメントを受ける場合、生徒は通常、受容言語能力を伴う質問を読んで理解する必要がある。

At the same time, students are expected to demonstrate their content knowledge through sentences, words, or text.

同時に、生徒たちは文章や単語、あるいはテキストを通して、自分の内容知識を示すことが求められる。

These involve productive language skills.

これらは生産的な言語スキルに関わっている。

In CLEW, content subject teachers tend to focus more on content knowledge and cognitive skills involved in assessment, but they should also be aware of the language demands involved.

CLEWでは、内容教科の教師は、アセスメントに関わる内容的な知識や認知的なスキルに重点を置く傾向があるが、言語的な要求も意識する必要がある。

Regarding when to assess, teachers may focus more on summative assessments, which are usually conducted at the end of a unit, topic, term, or academic year.

評価の時期について、教師は通常、単元、トピック、学期、学年の終わりに実施される総括的評価に重点を置くかもしれません。

However, to have continuous assessment and provide immediate feedback for students, teachers also need to pay more attention to the quest to formative assessment, including questioning in lessons and also homework.

しかし、継続的な評価を行い、生徒に即座にフィードバックを提供するためには、教師は、授業や宿題での質問など、形成的評価への探求にももっと注意を払う必要がある。

There are also different forms or different ways of assessment.

また、評価にはさまざまな形式や方法がある。

I have just mentioned formative assessment and summative assessment.

先ほど、形成的評価と総括的評価について述べた。

Meanwhile, teachers can also think about whether students are assessed individually or in groups, in oral or in written form.

一方、教師は、生徒を個人で評価するかグループで評価するか、口頭で評価するか筆記で評価するかについても考えることができる。

We encourage teachers to employ different forms of assessment, which can better cater for students' diverse needs and different learning styles.

私たちは、生徒の多様なニーズや異なる学習スタイルによりよく対応できるよう、教師がさまざまな形式の評価を採用するよう奨励しています。

When teachers are assessing students, they are actually challenging them.

教師が生徒を評価するとき、彼らは実際に生徒に挑戦しているのだ。

Here, I would like to illustrate the relationship between challenge and support and their implications.

ここでは、チャレンジとサポートの関係とその意味を説明したい。

In most cases, teachers are giving high challenges to students.

ほとんどの場合、教師は生徒に高い課題を与えている。

If teachers do not provide sufficient support, students have limited chance to success, and they will be frustrated.

教師が十分なサポートを提供しなければ、生徒が成功するチャンスは限られ、挫折してしまう。

On the other hand, if teachers provide sufficient scaffolding, student learning occurs in the zone of proximal development.

一方、教師が十分な足場を提供すれば、生徒の学習は至適発達領域で行われる。

That should be what teachers aim at.

教師はそれを目指すべきだ。

In CLEAR programs, students are learning content knowledge and language at the same time, and hence they are facing high challenges.

CLEARのプログラムでは、学生は内容知識と言語を同時に学ぶため、高い課題に直面している。

Providing sufficient support is then very important to ensure that learning takes place.

十分なサポートを提供することは、学習が行われるようにするために非常に重要である。

But how can teachers know the demands they are imposing on students so that they know how to provide support?

しかし、教師はどのようにして生徒に与えている要求を把握し、どのようにサポートを提供すべきかを知ることができるのだろうか？

To address this question, I would like to share three frameworks for designing and analyzing

この問いに答えるために、設計と分析のための3つのフレームワークを紹介したい。

CLEAR assessment.

CLEARの評価

The first one is proposed by Schott, who examined the English language learners in the US.

最初のものは、アメリカの英語学習者を調査したショットによる提案である。

Actually, there's been rather extensive research on how to accommodate the needs of English language learners in assessment so that they can be assessed in a more vetted way.

実際、英語学習者のニーズをどのように評価に反映させ、より吟味された方法で評価できるようにするかについては、かなり広範な研究がなされている。

This figure is a matrix of what and how.

この図は、「何を」「どのように」のマトリックスである。

The what dimension highlights the focus of assessment, for example, whether it's on content knowledge, skills, or language.

例えば、内容的な知識なのか、技能なのか、それとも言語なのか。

The how dimension focuses on the format of assessment.

どのようにという次元は、評価の形式に焦点を当てる。

Instead of having written assessment all the time, we can consider other formats such as portfolios, oral reports, videos, etc., so that students with lower English proficiency can still demonstrate their content knowledge in some formats.

筆記評価を常に行うのではなく、ポートフォリオ、口頭レポート、ビデオなど、他の形式を検討することで、英語力の低い生徒でも何らかの形式で内容知識を証明できるようにすることができる。

I think this matrix is useful for reminding teachers of different ways of assessing students.

このマトリックスは、教師が生徒を評価するさまざまな方法を思い出すのに役立つと思う。

This is especially useful for formative assessment and school-based assessment.

これは、形成的評価や学校ベースの評価に特に役立ちます。

However, in contexts where the high-stakes examination is still dominated by written assessment, we may need to refer to other frameworks which focus on the combination of content and language skills.

しかし、筆記試験が依然として主流である状況では、内容と言語能力の組み合わせに焦点を当てた他の枠組みを参照する必要があるかもしれない。

So this framework, developed by CLEAR researchers in Europe, highlights the integration of content knowledge, cognitive thinking skills, and also L2 competence.

そこで、ヨーロッパのCLEARの研究者たちによって開発されたこのフレームワークは、コンテンツ知識、認知的思考スキル、そしてL2コンピテンスを統合することを強調している。

I think this framework is useful for teachers to be aware of what they are assessing students and what may be the demands imposed on the students.

この枠組みは、教師が生徒の何を評価し、生徒に何が要求されるかを意識するのに役立つと思う。

But this framework looks a bit descriptive.

しかし、このフレームワークは少し説明的に見える。

The last framework from our research team is similar to the second framework, and it is developed based on the English medium education in Hong Kong.

私たちの研究チームによる最後のフレームワークは、2番目のフレームワークと似ており、香港の英語媒体教育に基づいて開発されたものである。

This framework combines different aspects of skills, language and cognitive.

このフレームワークは、技能、言語、認知のさまざまな側面を組み合わせたものだ。

To make it more generic, we focus on the generic cognitive demands and linguistic demands, and we divide them into three different levels.

より一般的なものにするため、一般的な認知的要求と言語的要求に焦点を当て、3つの異なるレベルに分けます。

On the cognitive dimensions, we condense the six levels of the Bloom's taxonomy to three levels, capturing the low, medium, and high-order thinking skills.

認知の次元では、ブルーム分類法の6つのレベルを3つのレベルに凝縮し、低次、中次、高次の思考スキルを捉えている。

On the linguistic dimension, we also have three levels in general, vocabulary, sentence patterns, and text.

言語的な次元では、一般的に語彙、文型、文章の3つのレベルがある。

And for each level, we can also consider receptive or productive skills.

また、それぞれのレベルについて、受容的スキルか生産的スキルかを考えることもできる。

We believe this framework can generate more fine-grained analysis of assessment questions.

私たちは、このフレームワークによって、よりきめ細かな評価問題の分析が可能になると考えている。

In a recent study, we have further revised this framework, which is more complicated.

最近の研究では、この枠組みをさらに複雑なものに改訂した。

You may refer to Lo and Fung, 2018, for more details.

詳細はLo and Fung, 2018を参照されたい。

But for the time being, this 3x3 matrix would help teachers understand the different demands of assessment questions in CLUE.

しかし、当面の間、この3x3のマトリックスは、教師がCLUEにおける評価問題のさまざまな要求を理解するのに役立つだろう。

Let me further illustrate the framework with some examples.

いくつかの例を挙げて、このフレームワークをさらに説明しよう。

With our framework, each question can be coded according to the cognitive and linguistic demand.

私たちのフレームワークを使えば、各質問を認知的・言語的要求に従ってコード化することができる。

For example, this is a typical diagram labelling question in science.

例えば、これは科学における典型的な図のラベリング問題です。

Students need to read the sentence or instruction in the question, and then they need to write down the names of different parts.

生徒たちは、問題文や指示を読み、さまざまな部分の名前を書き出す必要がある。

So we will code this question as Productive Vocabulary and Cognitive Recall, as students are expected to recall the location of different organs.

したがって、この問題を「生産的語彙」と「認知的想起」に分類することにする。

This is a multiple-choice question.

これは選択問題です。

Typically, students need to read the question and choices, which are often written in sentences.

通常、生徒は問題と選択肢を読む必要があるが、選択肢は文章で書かれていることが多い。

So the linguistic demand is at the sentence level.

つまり、言語的要求は文レベルにある。

For this particular question, it asks students to recall the functions of mineral phosphorus for the human body, so it requires low-level thinking skills.

この問題では、ミネラルであるリンの人体への働きを想起させるので、低レベルの思考力が要求される。

This is a structural or short question.

これは構造的な、あるいは短い質問だ。

It usually asks the question in sentences, and students are also expected to express their answers in sentences.

通常、文章で質問し、生徒も文章で答えを表現することが求められる。

In this question, the students are asked to apply Newton's first law of motion to a new scenario, so the cognitive skills required is at the application level.

この問題では、ニュートンの運動の第一法則を新しいシナリオに適用することが問われている。

In this last example, students are required to design an experiment to test the amount of vitamin C in different objects.

この最後の例では、生徒はさまざまな物体に含まれるビタミンCの量を調べる実験を計画することが求められる。

They are asked to carry out the experiment and write the report and observations.

彼らは実験を実施し、レポートと観察結果を書くよう求められる。

In this case, students are expected to produce a text, that is, lab report, and to demonstrate high-order thinking skills.

この場合、生徒はテキスト、つまり実験レポートを作成し、高次の思考スキルを実証することが求められる。

With such a framework, we could analyze the cognitive and linguistic demands of questions in assessment, and how these different levels are distributed.

このようなフレームワークがあれば、アセスメントにおける質問の認知的・言語的要求、そしてこれらの異なるレベルがどのように分布しているかを分析することができる。

This is important.

これは重要なことだ。

If we want to better diagnose our students' learning progress, including their strengths and weaknesses, we may need to include questions at different cognitive and linguistic levels, so that students with lower English proficiency can still express their content knowledge in some questions.

生徒の長所や短所を含め、学習の進捗状況をよりよく診断したいのであれば、英語力の低い生徒でも問題によっては内容知識を表現できるように、さまざまな認知レベルや言語レベルの問題を含める必要があるかもしれません。

If all the questions target at a high level of cognitive and linguistic skills, when students cannot answer the questions, we won't be able to know whether the students do not know the content or they have language barriers.

もし、すべての問題が高いレベルの認知能力と言語能力を対象としている場合、生徒が質問に答えられないと、生徒が内容を知らないのか、それとも言語に障害があるのかがわからなくなる。

That's why we believe that this framework could help teachers to design assessment tasks with enhanced validity.

だからこそ、私たちはこのフレームワークが、教師がより妥当性の高い評価課題を設計するのに役立つと信じている。

In one of our projects, we analyzed the assessment questions in textbooks and public examination at different grade levels in English-medium education in Hong Kong.

私たちのプロジェクトのひとつで、香港の英語教育における学年ごとの教科書と公開テストの評価問題を分析した。

We coded the questions with our framework, and we observed that the cognitive and linguistic demands increased significantly from junior to senior forms, especially when students sit for the public examination.

私たちは、私たちのフレームワークを使って問題をコーディングし、認知的・言語的な要求が、ジュニアからシニアになるにつれて、特に生徒が公的な試験を受けるときに、大幅に増加することを観察した。

This has important implications for pedagogy.

これは教育学にとって重要な意味を持つ。

If teachers understand the demands imposed on students in assessment, they can prepare students for the assessment.

もし教師が評価において生徒に課される要求を理解すれば、生徒に評価の準備をさせることができる。

For example, in another study we conducted in EMI schools in Hong Kong, we observed that some teachers are more aware of the language demands in assessment, and in the lessons, they provided explicit guidance and instruction for students regarding how to answer a particular type of question in assessment.

例えば、私たちが香港のEMI校で行った別の調査では、一部の教師が評価における言語的要求をより意識していることが観察され、授業では、評価の特定のタイプの質問に対する答え方について、生徒に明確な指導や指示を与えていた。

Students' sample work collected showed that such scaffolding did help students perform in assessment.

集められた生徒のサンプルワークから、このようなスキャフォールディングが生徒の評価に役立っていることがわかった。

In this video, I have highlighted some issues related to assessment in CLEW.

このビデオでは、CLEWのアセスメントに関するいくつかの問題を取り上げている。

I hope teachers can pay more attention to the issues so that students can be assessed in a valid and fair way.

生徒が妥当で公正な方法で評価されるよう、教師がもっと問題に注意を払うようになることを願っている。

These are some key references if you would like to know more about the topic.

このトピックについてより詳しく知りたい方は、以下の参考文献をご覧いただきたい。