Публикации с тэгом "testing"

Construct validity или конструктная валидность — одна из характеристик теста. Тест, обладающий construct validity, проверяет именно то, для оценки чего он был разработан. Например, если тест предназначен для измерения уровня критического мышления учеников, его конструктная валидность будет определяться тем, насколько результаты теста соответствуют этому понятию.

Если мы разрабатываем listening test, то тест с высокой конструктной валидностью будет проверять только те навыки, которые используются в процессе аудирования естесственным образом. Например, нам понадобится умение декодировать поток речи, понимать основное содержание с первого раза и так далее. А вот если тест требует от нас заполнить пропуски в саммари услышанного, поставив слова в нужную грамматическую форму, то конструктная валидность у него будет ниже, так как задействовано не только тестирование навыков аудирования, но и грамматики.

Continuous assessment или непрерывное оценивание — регулярная и постоянная оценка знаний и навыков учеников на протяжении всего учебного периода. При использовании такого формата оцениватеся всё: работа на уроке, домашние задания, тесты, презентации, проекты. Учитель регулярно даёт ученикам обратную связь об их прогрессе. Если ученикам и ставится финальная оценка, то она выставляется на основе их работы в течение года или курса, а не на основе финального экзамена.

Считается, что continuous assessment способствует более эффективному и персонализированному подходу к обучению английскому. Во-первых, такой формат позволяет выявить проблемы и сложности на ранних стадиях и быстро скорректировать обучение. Во-вторых, ученики привыкают к точечной и регулярной проверке знаний и меньше из-за неё переживают, в то время как финальный тест или экзамен могут вызвать немало стресса. В-третьих, постоянная обратная связь от учителя часто мотивирует учеников и даёт им видеть свой прогресс.

Formal assessment — формальная проверка знаний ученика. Такая проверка чаще всего проводится в виде тестов и экзаменов со строгими критериями оценки и структурированным содержанием. Формальная проверка используется для итоговой оценки знаний, например, когда ученики пишут промежуточные тесты или финальные экзамены в конце учебного года. Такой вид тестирования важен, потому что помогает определить уровень знаний учеников и оценить эффективность учебной программы или курса. Однако чтобы видеть полную картину, нужно дополнять formal assessment неформальными методами — проверкой домашних заданий или наблюдением за работой учеников на каждом занятии и другими.

Exit ticket — стратегия для того, чтобы в конце занятия быстро оценить, насколько хорошо ученики поняли и усвоили материал. Exit ticket относится к неформальному оцениванию. Такое оценивание может проводиться с помощью разных заданий. Например, учитель может задать ученику вопрос с открытым ответом, попросить заполнить небольшой чек-лист для самостоятельной оценки работы или даже сделать мини-квиз. Название стратегии как будто бы говорит о том, что покинуть урок можно только в том случае, еси выполнишь задание. Разумеется, никто не будет оставлять ученика размышлять над вопросом полчаса. Однако exit ticket поможет ещё раз привлечь внимание к материалу, который проходили на уроке. Считается, что такая форма оценивания не вызывает стресса учеников. Во-первых, задание очень маленькое, а во-вторых, никаких оценок за него обычно не ставится.

Мы – Анна Бойко и Надежда Попова, и мы говорим о преподавании английского, Fun и Methodology.

В этом выпуске обсудим вот что:

• Что вообще такое testing и assessment?
• Какие виды тестов и оценивания бывают?
• Чем хороший тест отличается от плохого?
• А что если тестировать всех с помощью AI?

Enjoy! 💜

Proficiency test — это текст или экзамен, проверяющий знание языка. Он показывает, достиг ли сдающий уровня, который описывается с помощью определённых критериев. Пример такого теста — это IELTS, CAE или TOEFL.

Proficiency tests практически никогда не проводятся в течение курса, однако часто являются итоговой целью изучения языка. При этом proficiency test не основан на на материалах какого-либо курса, который проходили ученики. Он часто проводится независимой организацией, например, Cambridge Assessment English.

Тест может проверять не только знания языка, но и профессиональные компетенции. Так, Delta Module One подтвердит, что кандидат разбирается в методике преподавания и умеет анализировать грамматику, лексику, фонетику и дискурс английского языка.

Test reliability — одна из характеристик теста, показатель его качества. Тест считается надёжным, если при его выполнении похожие группы сдающих в одних и тех же условиях демонстрируют одинаковые результаты, даже если меняются те, кто этот тест оценивает. Надёжный тест также должен давать схожие результаты при повторном прохождении, если уровень подготовки испытуемых остается неизменным. Если вы проводите один и тот же тест в двух группах одного возраста и уровня, но результаты кардинально отличаются, то у этого теста low reliability.

Есть понятие reliability coefficient, коэффициент надёжности. Он показывает, насколько хорошо тест выполняет свою функцию. Идеальный коэффициент надёжности равен единице.  Более высокий коэффициент указывает на то, что тест дает стабильные результаты в различных условиях. Значения выше 0,9 считаются отличными, а с 0,8 до 0,9 — хорошими. Надёжность можно проверить следующими способами:

1. test-retest reliability. Один и тот же тест проводится дважды с некоторым интервалом и должен показать сходные результаты. У использования этого метода в преподавании есть очевидные недостатки: мало какоуму ученику понравится писать один и то же тест дважды. Какие-то ответы ученики запомнят, а что-то наоборот может вылететь у них из головы. Поэтому чаще используется так называемый split-half method. Тест делится на две половины, которые ученики выполняют отдельно. Это может быть сделано различными способами, например, по чётным и нечётным вопросам.

2. mark-remark reliability. Тест проверяется двумя разными экспертами. Затем результаты сравниваются для определения уровня согласованности.

3. alternate version reliability. Это важный аспект для всех тестов "по вариантам". Мы создаём две или более версии теста, которые содержат похожие, но не идентичные вопросы. Эти версии должны быть одинаковыми по сложности и содержанию. Ученики проходят обе версии теста, и результаты сравниваются для определения степени корреляции между ними.

Test practicality — одна из характеристик теста, показатель его качества. Тест считается практичным, если его легко проводить, выполнять и оценивать. Вот несколько условий, которые повышают test practicality:

• Инструкции к тесту просты и понятны, визуальное оформление теста не мешает пониманию заданий.
• Время, отведённое на выполнение теста, разумно: он не слишком короткий, но при этом и не занимаем весь день с утра до вечера.
• Если тестирование платное, то оно не сликом дорогое.
• У организаторов теста нет невыполнимых сложностей при его проведении.
• Проверка и оценивание посильны и не занимают слишком много времени.
• Трактовка результатов понятна тем, кто проходил тестирование.

Если вы разрабатываете тесты, то три основных компонента, о которых следует помнить при оценке test practicality, это time + money + effort.

Проверка знаний — неотъемлемая часть полноценных занятий. Тесты помогают нам оценить прогресс, вовремя скорректировать курс, замедлиться или ускориться. Да и самим студентам приятно ощутить, что теперь они легко справляются с заданиями, которые еще полгода назад давались им с трудом. Однако многие ученики боятся тестов или как минимум недолюбливают их. Как сделать так, чтобы ученики полюбили тесты? Читайте ниже.

Эта книга — отличный помощник, если вы хотите глубже разобраться в тестировании и оценке знаний учеников. Она объясняет такие характеристики тестов, как validity, reliability, practicality, а также рассказывает о влияние тестирования на преподавание и обучение. Testing for Language Teachers затрагивает тестирование 4 основных навыков, а также грамматики и лексики. Есть также глава о тестировании детей. А ещё в книге масса понятных примеров и рекомендации литературы для того, чтобы углубиться в тему, если вам вдруг не хватит.

Informal assessment предполагает оценивание учеников в процессе обучения. Для этого типа assessment обычно не используются контрольные работы, тесты или экзамены. Преподаватель оценивает работу ученика, основываясь на мониторинге во время устных заданий, портфолио или форматах self-assessment и peer assessment.

CEFR расшифровывается как Common European Framework of Reference.  Это шкала, созданная для опсиания уровня владения языком. Стендарт CEFR признан во всём мире. CEFR устанавливает шесть уровней владения иностранным языком, от Beginner до Proficient. Для каждого уровня есть описание знаний и умений. В описании есть два аспекта: речевая деятельность и компетенции (знания, навыки и характеристики). Вот, например, некоторые из умений ученика с уровнем A2 согласно CEFR:

1. Может понимать предложения и часто используемые выражения, связанные с основными сферами жизни, к которым имеет непосредственное отношение (например, базовая информация и семье, о покупках, географии, занятости).
2. Может осуществлять коммуникацию в пределах простых и ежедневных задач, требующих простого и прямого обмена информацией на знакомые или бытовые темы.
3. Может в несложных выражениях описать отдельные аспекты своего прошлого и настоящего, а также ответить на вопросы, касающиеся областей, с которыми, он, она непосредственно взаимодействует.

Integrative test или интегративный тест проверяет более одного навыка или элемента знаний одновременно. Например, role-play job interview протестирует, как хорошо ученики поняли задание, какую лексику и грамматику выбрали, использовали ли верный стиль и правильным ли было их произношение. Ещё один пример интегративного теста — диктант. Здесь проверяется правописание, а ещё навыки аудирования.

Face validity или очевидная валидность — одна из характеристик теста. Тест с высокой face validity воспринимается участниками тестирования как "хороший, вызывающий доверие". К участникам тестирования в этом случае могут относиться не только ученики, но и их родители, и учителя. Восприятия теста как "хорошего" часто субъективно, поэтому тест с высокой face validity не вседа может считаться профессиональным и качественным. Например, лингвисты считают, что диктант — это не лучшая форма проверки навыков аудирования, однако это задание часто вызывает высокую степень доверия у участников.

Content validity или содержательная валидность — одна из характеристик теста. Тест, обладающий content validity, проверяет только то, что было пройдено в курсе. Так, например, если ученики прошли Present Continuous for something that is happening now, то наличие в тесте заданий на Present Continuous for future arrangements делает его не валидным. Ещё один пример теста с низкой content validity — это тест на уровень, задания в котором отличаются по формату от sample papers.

В отличие от norm-referenced test, criterion-referenced test оценивается по шкале или набору критериев. Ученик может получить за такой тест балл или узнать процент правильных ответов, часто по стобалльной шкале. На результат ученика никак не влияют результаты других участников тестирования. Тест сдадут все, кто наберёт нужное количество баллов, будь это один человек из группы или все участники сразу. Примеры criterion-referenced tests — это IELTS и TOEFL.

Subjective test — тест, который проверяется и оценивается с учётом субъективного восприятия проверяющего или экзаменатора. В таких тестах нет заранее определённых правильных ответов. Для большей объективности результата могут быть добавлены рекомендации или указания по проверке. Типичные примеры — эссе или устная часть экзамена.

Objective test — тест, проверка которого объективна, а результаты никак не зависят от восприятия проверяющего или экзаменатора. Примерами такого теста являются задания формата True/False или multiple choice, где можно выбрать только одие верный ответ. Objective tests легко проверять с помощью шаблона или формы с автопроверкой онлайн.

Norm-referenced test сравнивает результаты ученика с другими участниками тестирования. В интерпретации результатов важнее не то, как ученики справились с заданием, а то, какой результат они показали относительно друг друга: кто оказался сильнее, а кто слабее. В norm-referenced tests приблизительный процент тех, кто сдаст или получит определённый балл, обычно известно заранее. Примерами таких тестов является SAT и болmшинство тестов на IQ.

Indirect test проверяет наличие у ученика знаний о языке, но не проверяет, может ли ученик воспользоваться этими знаниями в реальной коммуникации. Например, мы можем проверить знания студента о жанре эссе с помощью квиза с выбором ответов, в котором будут вопросы об особенностях жанра, организации текста и языковых средствах. При этом мы не будем просить написать само эссе: умения ученика при этом виде тестирования предполагаются, но не демонстрируются.