Теоретические основы тестирования. Основные понятия теории тестов

Основы теории тестов 1. Основные понятия теории тестов 2. Надежность тестов и пути ее определения

Контрольные вопросы 1. Что называется тестом? 2. Какие требования предъявляются к тесту? 3. Какие тесты называются аутентичными? 4. Что называется надежностью теста? 5. Перечислить причины, вызывающие вариацию результатов при повторном тестировании. 6. В чем отличие внутриклассовой вариации от межклассовой? 7. Как практически определить надежность теста? 8. В чем отличие согласованности тестов от стабильности? 9. В чем заключается эквивалентность тестов? 10. Что такое гомогенный комплекс тестов? 11. Что такое гетерогенный комплекс тестов? 12. Пути повышения надежности тестов.

Тест - это измерение или испытание, проводимое с целью определения состояния или способностей человека. Не всякие измерения могут быть использованы как тесты, а только те, которые отвечают специальным требованиям. К ним относятся: 1. стандартизованность (процедура и условия тестирования должны быть одинаковыми во всех случаях применения теста); 2. надежность; 3. информативность; 4. наличие системы оценок.

Требования тестов: n Информативность - степень точности, с которой он измеряет свойство (качество, способность, характеристику), для оценки которой используется. n Надежность - степень совпадения результатов при повторном тестировании одних и тех же людей в одинаковых условиях. Согласованность - (разные люди, но одинаковые приборы и одинаковые условия). n n Стандартность условий - (однаковые условия при повторных измерениях). n Наличие системы оценок - (перевод в систему оценок. Как в школе 5 -4 -3. . .).

Тесты, удовлетворяющие требованиям надежности и информативности, называют добротными или аутентичными (греч. аутентико - достоверным образом)

Процесс испытаний называется тестированием; полученное в итоге измерения числовое значение - результатом тестирования (или результатом теста). Например, бег 100 м - это тест, процедура проведения забегов и хронометража - тестирование, время забега - результат теста.

Тесты, в основе которых лежат двигательные задания, называют двигательными или моторными. Результатами их могут быть либо двигательные достижения (время прохождения дистанции, число повторений, пройденное расстояние и т. п.), либо физиологические и биохимические показатели.

Иногда используется не один, а несколько тестов, имеющих единую конечную цель (например, оценку состояния спортсмена в соревновательном периоде тренировки). Такая группа тестов называется комплексом или батареей тестов.

Один и тот же тест, примененный к одним и тем же исследуемым, должен дать в одинаковых условиях совпадающие результаты (если только не изменились сами исследуемые). Однако при самой строгой стандартизации и точной аппаратуре результаты тестирования всегда несколько варьируют. Например, исследуемый, только что показавший в тесте становой динамометрии результат 215 к. Г, при повторном выполнении показывает лишь 190 к. Г.

Надежность тестов и пути ее определения Надежностью теста называется степень совпадения результатов при повторном тестировании одних и тех же людей (или других объектов) в одинаковых условиях.

Вариацию результатов при повторном тестировании называют внутри индивидуальной, или внутри групповой, либо внутриклассовой. Четыре основные причины вызывают эту вариацию: 1. Изменение состояния исследуемых (утомление, врабатывание, «научение» , изменение мотивации, концентрации внимания и т. п.). 2. Неконтролируемые изменения внешних условий и аппаратуры (температура, ветер, влажность, напряжение в электросети, присутствие посторонних лиц и т. п.), т. е. все то, что объединяется термином “случайная ошибка измерения”.

Четыре основные причины вызывают эту вариацию: 3. Изменение состояния человека, проводящего или оценивающего тест (и, конечно, замена одного экспериментатора или судьи другим). 4. Несовершенство теста (есть такие тесты, которые заведомо малонадежные. Например, если исследуемые выполняют штрафные броски в баскетбольную корзину, то даже баскетболист, имеющий высокий процент попаданий, может случайно ошибиться при первых бросках).

Понятие об истинном результате теста является абстракцией (в опыте измерить нельзя). Поэтому приходится использовать косвенные методы. Наиболее предпочтителен для оценки надежности дисперсионный анализ с последующим расчетом внутриклассовых коэффициентов корреляции. Дисперсионный анализ позволяет разложить зарегистрированную в опыте вариацию результатов теста на составляющие, обусловленные влиянием отдельных факторов.

Если зарегистрировать у исследуемых их результаты в какомлибо тесте, повторяя этот тест в разные дни, причем каждый день делать по несколько попыток, периодически меняя экспериментаторов, то будут иметь место вариации: а) от испытуемого к испытуемому; n б) ото дня ко дню; n в) от экспериментатора к экспериментатору; n г) от попытки к попытке. Дисперсионный анализ дает возможность выделить и оценить эти вариации. n

Таким образом, чтобы оценить практически надежность теста надо, n во-первых, выполнить дисперсионный анализ, n во-вторых, рассчитать внутриклассовый коэффициент корреляции (коэффициент надежности).

Говоря о надежности тестов, необходимо различать их стабильность (воспроизводимость), согласованность, эквивалентность. n n Под стабильностью теста понимают воспроизводимость результатов при его повторении через определенное время в одинаковых условиях. Повторное тестирование обычно называют ретестом. Согласованность теста характеризуется независимостью результатов тестирования от личных качеств лица, проводящего или оценивающего тест.

Если все тесты, входящие в какойлибо комплекс тестов, высоко эквивалентны, он называется гомогенным. Весь этот комплекс измеряет одно какое -то свойство моторики человека (например, комплекс, состоящий из прыжков с места в длину, вверх и тройного; оценивается уровень развития скоростно-силовых качеств). Если в комплексе нет эквивалентных тестов, то есть тесты, входящие в него, измеряют разные свойства, то он называется гетерогенным (например, комплекс, состоящий из становой динамометрии, прыжка вверх по Абалакову, бега на 100 м).

Надежность тестов может быть повышена до определенной степени путем: n n n а) более строгой стандартизации тестирования; б) увеличения числа попыток; в) увеличения числа оценщиков (судей, экспериментов) и повышения согласованности их мнений; г) увеличения числа эквивалентных тестов; д) лучшей мотивации исследуемых.

Что такое тестирование

В соответствие с IEEE Std 829-1983 Тестирование - это процесс анализа ПО, направленный на выявление отличий между его реально существующими и требуемыми свойствами (дефект) и на оценку свойств ПО.

По ГОСТ Р ИСО МЭК 12207-99 в жизненном цикле ПО определены среди прочих вспомогательные процессы верификации, аттестации, совместного анализа и аудита. Процесс верификации является процессом определения того, что программные продукты функционируют в полном соответствии с требованиями или условиями, реализованными в предшествующих работах. Данный процесс может включать анализ, проверку и испытание (тестирование). Процесс аттестации является процессом определения полноты соответствия установленных требований, созданной системы или программного продукта их функциональному назначению. Процесс совместного анализа является процессом оценки состояний и, при необходимости, результатов работ (продуктов) по проекту. Процесс аудита является процессом определения соответствия требованиям, планам и условиям договора. В сумме эти процессы и составляют то, что обычно называют тестированием.

Тестирование основывается на тестовых процедурах с конкретными входными данными, начальными условиями и ожидаемым результатом, разработанными для определенной цели, такой, как проверка отдельной программы или верификация соответствия на определенное требование. Тестовые процедуры могут проверять различные аспекты функционирования программы - от правильной работы отдельной функции до адекватного выполнения бизнес-требований.

При выполнении проекта необходимо учитывать, в соответствии с какими стандартами и требованиями будет проводиться тестирование продукта. Какие инструментальные средства будут (если будут) использоваться для поиска и для документирования найденных дефектов. Если помнить о тестировании с самого начала выполнения проекта, тестирование разрабатываемого продукта не доставит неприятных неожиданностей. А значит и качество продукта, скорее всего, будет достаточно высоким.

Жизненный цикл продукта и тестирование

Все чаще в наше время используются итеративные процессы разработки ПО, в частности, технология RUP - Rational Unified Process (Рис. 1). При использовании такого подхода тестирование перестает быть процессом «на отшибе», который запускается после того, как программисты написали весь необходимый код. Работа над тестами начинается с самого начального этапа выявления требований к будущему продукту и тесно интегрируется с текущими задачами. И это предъявляет новые требования к тестировщикам. Их роль не сводится просто к выявлению ошибок как можно полнее и как можно раньше. Они должны участвовать в общем процессе выявления и устранения наиболее существенных рисков проекта. Для этого на каждую итерацию определяется цель тестирования и методы ее достижения. А в конце каждой итерации определяется, насколько эта цель достигнута, нужны ли дополнительные испытания, и не нужно ли изменить принципы и инструменты проведения тестов. В свою очередь, каждый обнаруженный дефект должен пройти через свой собственный жизненный цикл.

Рис. 1. Жизненный цикл продукта по RUP

Тестирование обычно проводится циклами, каждый из которых имеет конкретный список задач и целей. Цикл тестирования может совпадать с итерацией или соответствовать ее определенной части. Как правило, цикл тестирования проводится для конкретной сборки системы.

Жизненный цикл программного продукта состоит из серии относительно коротких итераций (Рис. 2). Итерация - это законченный цикл разработки, приводящий к выпуску конечного продукта или некоторой его сокращенной версии, которая расширяется от итерации к итерации, чтобы, в конце концов, стать законченной системой.

Каждая итерация включает, как правило, задачи планирования работ, анализа, проектирования, реализации, тестирования и оценки достигнутых результатов. Однако соотношения этих задач может существенно меняться. В соответствие с соотношением различных задач в итерации они группируются в фазы. В первой фазе - Начало - основное внимание уделяется задачам анализа. В итерациях второй фазы - Разработка - основное внимание уделяется проектированию и опробованию ключевых проектных решений. В третьей фазе - Построение - наиболее велика доля задач разработки и тестирования. А в последней фазе - Передача - решаются в наибольшей мере задачи тестирования и передачи системы Заказчику.

Рис. 2. Итерации жизненного цикла программного продукта

Каждая фаза имеет свои специфические цели в жизненном цикле продукта и считается выполненной, когда эти цели достигнуты. Все итерации, кроме, может быть, итераций фазы Начало, завершаются созданием функционирующей версии разрабатываемой системы.

Категории тестирования

Тесты существенно различаются по задачам, которые с их помощью решаются, и по используемой технике.

Подкатегории тестирования

Виды тестирования

Unit-тестирование (модульное тестирование) - данный вид подразумевает тестирование отдельных модулей приложения. Для получения максимального результата тестирование проводится одновременно с разработкой модулей.

Функциональное тестирование - цель данного тестирования состоит в том, чтобы убедиться в надлежащем функционировании объекта тестирования. Тестируется правильность навигации по объекту, а также ввод, обработка и вывод данных.

Тестирование БД - проверка работоспособности БД при нормальной работе приложения, в моменты перегрузок и многопользовательском режиме.

Unit-тестирование

Для ООП обычная организация модульного тестирования заключается в тестировании методов каждого класса, затем класса каждого пакета и.т.д. Постепенно мы переходим к тестированию всего проекта, а предыдущие тесты носят вид регрессионных.

В выходную документацию данных тестов входят тестовые процедуры, входные данные, код, исполняющий тест, выходные данные. Далее представлен вид выходной документации.

Функциональное тестирование

Функциональное тестирование объекта тестирования планируется и проводится на основе требований к тестированию, заданных на этапе определения требований. В качестве требований выступают бизнес-правила, диаграммы use-case, бизнес-функции, а также при наличии, диаграммы активности. Цель функциональных тестов состоит в том, чтобы проверить соответствие разработанных графических компонентов установленным требованиям.

Данный вид тестирования не может быть полностью автоматизирован. Следовательно, он подразделяется на:

• Автоматизированное тестирование (будет использоваться в случае, где можно проверить выходную информацию).

Цель: протестировать ввод, обработку и вывод данных;

• Ручное тестирование (в остальных случаях).

Цель: тестируется правильность выполнения пользовательских требований.

Необходимо исполнить (проиграть) каждый из use-case, используя как верные значения, так и заведомо ошибочные, для подтверждения правильного функционирования, по следующим критериям:

• продукт адекватно реагирует на все вводимые данные (выводятся ожидаемые результаты в ответ на правильно вводимые данные);
• продукт адекватно реагирует на неправильно вводимые данные (появляются соответствующие сообщения об ошибках).

Тестирование БД

Цель данного тестирования - убедиться в надежности методов доступа к базам данных, в их правильном исполнении, без нарушения целостности данных.

Необходимо последовательно использовать максимально возможное число обращений к базе данных. Используется подход, при котором тест составляется таким образом, чтобы «нагрузить» базу последовательностью, как верных значений, так и заведомо ошибочных. Определяется реакция БД на ввод данных, оцениваются временные интервалы их обработки.

Описание презентации по отдельным слайдам:

1 слайд

Описание слайда:

2 слайд

Описание слайда:

Физическими качествам принято называть врожденные (генетически унаследованные) морфофункциональные качества, благодаря которым возможна физическая (материально выраженная) активность человека, получающая свое полное проявление в целесообразной двигательной деятельности. К основным физическим качествам относят силу, быстроту, выносливость, гибкость, ловкость.

3 слайд

Описание слайда:

Двигательные способности- это индивидуальные особенности, определяющие уровень двигательных возможностей человека (В. И. Лях, 1996). Основу двигательных способностей человека составляют физические качества, а форму проявления - двигательные умения и навыки. К двигательным способностям относят силовые, скоростные, скоростно-силовые, двигательно-координационные способности, общую и специфическую выносливость

4 слайд

Описание слайда:

Схема систематизации физических (двигательных) способностей Физические (двигательные) способности Кондиционные (энергетические) Силовые Сочетания кондиционных способностей Выносливость Скоростные Гибкость Координационные (информационные) КС, относящиеся к отдельным группам двигательных действий, специальные КС Специфические КС Сочетания координационных способностей Сочетания кондиционных и координационных способностей

5 слайд

Описание слайда:

ПОЛУЧИТЬ ТОЧНУЮ ИНФОРМАЦИЮ ОБ УРОВНЕ РАЗВИТИЯ ДВИГАТЕЛЬНЫХ СПОСОБНОСТЕЙ /высокий, средний, низкий/ МОЖНО С ПОМОЩЬЮ ТЕСТОВ /или контрольных упражнений/.

6 слайд

Описание слайда:

С помощью контрольных испытаний (тестов) можно выявить абсолютные (явные) и относительные (скрытые, латентные) показатели этих способностей. Абсолютные показатели характеризуют уровень развития тех или иных двигательных способностей без учета их влияния друг на друга. Относительные показатели позволяют судить о проявлении двигательных способностей с учетом этого влияния.

7 слайд

Описание слайда:

Вышеназванные физические способности можно представить как существующие потенциально, т. е. до начала выполнения какой-либо двигательной деятельности или деятельностей (их можно называть потенциальными способностями) и как проявляющиеся реально в начале (в том числе при выполнении моторных тестов) и в процессе выполнения этой деятельности (актуальные физические способности).

8 слайд

Описание слайда:

С определенной долей условности можно говорить об ЭЛЕМЕНТАРНЫХ и физических способностях СЛОЖНЫХ физических способностях

9 слайд

Описание слайда:

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ ПОЗВОЛЯЮТ РАЗЛИЧАТЬ СЛЕДУЮЩИЕ ФИЗИЧЕСКИЕ СПОСОБНОСТИ СПЕЦИАЛЬНЫЕ СПЕЦИФИЧЕСКИЕ ОБЩИЕ КС

10 слайд

Описание слайда:

Специальные физические способности относятся к однородным группам целостных двигательных действий или деятельностей: бегу, акробатическим и гимнастическим упражнениям на снарядах, метательным двигательным действиям, спортивным играм (баскетболу, волейболу).

11 слайд

Описание слайда:

О специфических проявлениях физических способностей можно говорить как о компонентах, составляющих их внутреннюю структуру.

12 слайд

Описание слайда:

Так, основными компонентами координационных способностей человека являются: способности к ориентированию, равновесию, реагированию, дифференцированию параметров движений; способности к ритму, перестроению двигательных действий, вестибулярной устойчивости, произвольному расслаблению мышц. Эти способности являются специфичными.

13 слайд

Описание слайда:

Основными компонентами структуры скоростных способностей считают быстроту реагирования, скорость одиночного движения, частоту движений и скорость, проявляемую в целостных двигательных действиях.

14 слайд

Описание слайда:

К проявлениям силовых способностей относят: статическую (изометрическую) силу, динамическую (изотоническую) силу - взрывную, амортизационную силу.

15 слайд

Описание слайда:

Большой сложностью отличается структура выносливости: аэробная, требующая для своего проявления кислородных источников расщепления энергии; анаэробная (гликолитический, креатинфосфатный источники энергии - без участия кислорода); выносливость различных мышечных групп в статических позах - статическая выносливость; выносливость в динамических упражнениях, выполняемых со скоростью 20-90% от максимальной.

16 слайд

Описание слайда:

Менее сложными являются проявления (формы) гибкости, где выделяют активную и пассивную гибкость.

17 слайд

Описание слайда:

Под общими физическими способностями следует понимать потенциальные и реализованные возможности человека, определяющие его готовность к успешному осуществлению различных по происхождению и смыслу двигательных действий. Специальные физические способности - это возможности человека, определяющие его готовность к успешному осуществлению сходных по происхож­дению и смыслу двигательных действий. Поэтому тесты дают информацию прежде всего о степени сформированности специальных и специфических физических (скоростных, координационных, силовых, выносливости, гибкости) способностей.

18 слайд

Описание слайда:

Специальные физические способности - это возможности человека, определяющие его готовность к успешному осуществлению сходных по происхождению и смыслу двигательных действий. Поэтому тесты дают информацию прежде всего о степени сформированности специальных и специфических физических (скоростных, координационных, силовых, выносливости, гибкости) способностей.

19 слайд

Описание слайда:

Задачи тестирования выявлять уровни развития кондиционных и координационных способностей, оценивать качество технической и тактической подготовленности. На основе результатов тестирования можно: сравнивать подготовленность как отдельных учащихся, так и целых групп, проживающих в разных регионах и странах; проводить спортивный отбор для занятий тем или иным видом спорта, для участия в соревнованиях; осуществлять в значительной степени объективный контроль за обучением (тренировкой) школьников и юных спортсменов; выявлять преимущество и недостатки применяемых средств, методов обучения и форм организации занятий; наконец, обосновывать нормы (возрастные, индивидуальные) физической подготовленности детей и подростков.

20 слайд

Описание слайда:

Наряду с вышеназванными задачами в практике разных стран задачи тестирования сводятся к следующему: научить самих школьников определять уровень своей физической подготовленности и планировать необходимые для себя комплексы физических упражнений; стимулировать учащихся к дальнейшему повышению своего физического состояния (формы); знать не столько исходный уровень развития двигательной способности, сколько его изменение за определенное время; стимулировать учащихся, добившихся высоких результатов, но не столько за высокий уровень, сколько за запланированное повышение личных результатов.

21 слайд

Описание слайда:

Тест - это измерение или испытание, проводимое для определения способностей или состояния человека.

22 слайд

Описание слайда:

В качестве тестов могут использоваться лишь те испытания (пробы), которые отвечают специальным требованиям: должна быть определена цель применения любого теста (или тестов); следует разработать стандартизированную методику измерения результатов в тестах и процедуру тестирования; необходимо определить надежность и информативность тестов; результаты тестов могут быть представлены в соответствующей системе оценки

23 слайд

Описание слайда:

Тест. Тестирование. Результат тестирования Система использования тестов в соответствии с поставленной задачей, организацией условий, выполнением тестов испытуемыми, оценка и анализ результатов называется тестированием. Полученное в ходе измерений числовое значение - результатом тестирования (теста).

24 слайд

Описание слайда:

В основе тестов, используемых в физической культуре, лежат двигательные действия (физические упражнения, двигательные задания). Такие тесты называются двигательными или моторными.

25 слайд

Описание слайда:

Известна классификация тестов по их структуре и по их преимущественным показаниям различают единичный и комплексный тесты. Единичный тест служит для измерения и оценки одного признака (координационной или кондиционной способности).

26 слайд

Описание слайда:

27 слайд

Описание слайда:

С помощью комплексного теста оценивается несколько признаков или компонентов разных или одной и той же способности. например, прыжок вверх с места (со взмахом рук, без взмаха рук, на заданную высоту).

28 слайд

Описание слайда:

29 слайд

Описание слайда:

ТЕСТЫ могут быть кондиционные тесты для оценки силовых способностей для оценки выносливости; для оценки скоростных способностей; для оценки гибкости координационные тесты для оценки координационных способностей, относящихся к отдельным самостоятельным группам двигательных действий, которые измеряют специальные координационные способности; для оценки специфических координационных способностей - способностей к равновесию, ориентированию в пространстве, реагированию, дифференцированию параметров движений, ритму, перестроению двигательных действий, согласованию (связи), вестибулярной устойчивости, произвольному расслаблению мышц).

30 слайд

Описание слайда:

Каждая классификация – это своеобразные ориентиры для выбора (или создания) того типа тестов, которые в большей мере соответствуют задачам тестирования.

31 слайд

Описание слайда:

КРИТЕРИИ ДОБРОТНОСТИ ДВИГАТЕЛЬНЫХ ТЕСТОВ понятие «двигательный тест» отвечает своему назначению тогда, когда тест удовлетворяет соответствующим основным критериям: надежности, стабильности, эквивалентности, объективности, информативности (валидности), а также дополнительным критериям: нормированию, сопоставляемости и экономичности. Тесты, удовлетворяющие требованиям надежности и информативности, называют добротными, или аутентичными (достоверными).

32 слайд

Описание слайда:

Под надежностью теста понимают степень точности, с которой он оценивает определенную двигательную способность независимо от требований того, кто ее оценивает. Надежность проявляется в степени совпадения результатов при повторном тестировании одних и тех же людей в одинаковых условиях; это стабильность или устойчивость результата теста индивида при повторном проведении контрольного упражнения. Другими словами, ребенок в группе обследуемых по результатам повторных тестирований (например, показа­телей прыжков, времени бега, дальности метания) устойчиво сохраняет свое ранговое место. Надежность теста определяется с помощью корреляционно-статистического анализа путем расчета коэффициента надежности. При этом используют различные способы, на основании которых судят о надежности теста.

33 слайд

Описание слайда:

Стабильность теста основывается на зависимости между первой и второй попытками, повторенными через определенное время в одинаковых условиях одним и тем же экспериментатором. Способ повторного тестирования на определение надежности называется ретестом. Стабильность теста зависит от вида теста, возраста и пола испытуемых, временного интервала между тестом и ретестом. Например, показатели кондиционных тестов или морфологических признаков при небольших временных интервалах более стабильны, чем результаты координационных тестов; у более старших детей - результаты стабильнее, чем у более младших. Ретест обычно проводится не позднее, чем через неделю. При более длительных интервалах (например, через месяц) стабильность даже таких тестов, как бег на 1000 м или прыжок в длину с места, становится уже заметно ниже.

34 слайд

Описание слайда:

Эквивалентность теста Эквивалентность теста заключается в корреляции результата теста с результатами других однотипных тестов. Например, когда надо выбрать, какой тест более адекватно отражает скоростные способности: бег на 30, 50, 60 или 100 м. Отношение к эквивалентным (гомогенным) тестам зависит от многих причин. Если надо повысить надежность оценок или выводов исследования, тогда целесообразно использовать два и больше эквивалентных теста. А если стоит задача создать батарею, содержащую минимум тестов, тогда следует применять только один из эквивалентных тестов. Такая батарея, как отмечалось, является гетерогенной, так как входящие в нее тесты измеряют разные двигательные способности. Примером гетерогенной батареи тестов является бег на 30 м, подтягивание на перекладине, наклон вперед, бег на 1000 м.

35 слайд

Описание слайда:

Надежность тестов определяют также по сопоставлению средних оценок четных и нечетных попыток, входящих в тест. Например, среднюю точность бросков в цель из 1, 3, 5, 7 и 9 попыток сравнивают со средней точностью бросков из 2, 4, 6, 8 и 10 попыток. Такой метод оценки надежности называется методом удвоения, или расщеплением. Он используется преимущественно при оценке координационных способностей и в том случае, если число попыток, образующих тестовый результат, не меньше шести.

36 слайд

Описание слайда:

Под объективностью (согласованностью) теста Под объективностью (согласованностью) теста понимают степень согласованности результатов, получаемых на одних и тех же испытуемых разными экспериментаторами (учителями, судьями, экспертами). Для повышения объективности тестирования необходимо соблюдение стандартных условий проведения теста: время тестирования, место, погодные условия; единое материальное и аппаратурное обеспечение; психофизиологические факторы (объем и интенсивность нагрузки, мотивация); подача информации (точная словесная постановка задачи теста, объяснение и демонстрация). Это так называемая объективность проведения теста. Говорят еще об интерпретационной объективности, касающейся степени независимости интерпретации результатов тестирования разными экспериментаторами.

37 слайд

Описание слайда:

В целом, как отмечают специалисты, надежность тестов можно повысить различными путями: более строгой стандартизацией тестирования, увеличением числа попыток, лучшей мотивацией испытуемых, увеличением числа оценщиков (судей, экспертов), повышением согласованности их мнений, увеличением числа эквивалентных тестов. Фиксированных значений показателей надежности теста не имеется. В большинстве случаев пользуются следующими рекомендациями: 0,95 - 0,99 - отличная надежность; 0,90 -- 0,94 -- хорошая; 0,80 -- 0,89 -- приемлемая; 0,70 - 0,79 - плохая; 0,60 - 0,69 - для индивидуальных оценок сомнительная, тест пригоден только для характеристики группы испытуемых.

38 слайд

Описание слайда:

Информативность теста это степень точности, с какой он измеряет оцениваемую двигательную способность или навык. В иностранной (и отечественной) литературе используют вместо слова «информативность» термин «валидность» (от англ. validity-обоснованность, действительность, законность). Фактически, говоря об информативности, исследователь отвечает на два вопроса: что измеряет данный конкретный тест (батарея тестов) и какова при этом степень точности измерения. Различают несколько видов валидности: логическую (содержательную), эмпирическую (на основании опытных данных) и предсказательную.

39 слайд

Описание слайда:

Важными дополнительными критериями тестов, как отмечалось, являются нормирование, сопоставляемостъ и экономичность. Суть нормирования состоит в том, что на основе результатов тестирования можно создать нормы, имеющие особое значение для практики. Сопоставляемостъ теста заключается в возможности сравнивать результаты, полученные по одному или нескольким формам параллельных (гомогенных) тестов. В практическом плане применение сопоставляемых моторных тестов снижает вероятность того, что в результате регулярного применения одного и того же теста оценивается не только и не столько уровень способности, сколько степень навыка. Одновременно сопоставляемые результаты тестов повышают достоверность выводов. Суть экономичности как критерия добротности теста состоит в том, что проведение теста не требует длительного времени, больших материальных затрат и участия многих помощников.

40 слайд

Описание слайда:

ОРГАНИЗАЦИЯ ТЕСТИРОВАНИЯ ПОДГОТОВЛЕННОСТИ ДЕТЕЙ ШКОЛЬНОГО ВОЗРАСТА Второй важной проблемой тестирования двигательных способностей (напомним, что первая - отбор информативных тестов, является организация их применения. Учитель физической культуры должен определить: в какие сроки лучше организовать тестирование, как осуществлять его на уроке и как часто следует проводить тестирование. Сроки тестирования согласуются со школьной программой, которая предусматривает обязательное двухразовое тестирование физической подготовленности учащихся.

41 слайд

Описание слайда:

Знание годичных изменений в развитии двигательных способностей детей позволяет учителю вносить соответствующие коррективы в процесс физической культуры на следующий учебный год. Однако учитель должен и может проводить более частое тестирование, вести так называемый оперативный контроль. Это целесообразно делать для того, чтобы определить, например, изменение уровня скоростных, силовых способностей и выносливости под влиянием уроков легкой атлетики в течение первой четверти. С этой целью учитель может применить тесты для оценки координационных способностей детей в начале и в конце освоения материала программы, например, по спортивным играм, для выявления изменения показателей развития этих способностей.

42 слайд

Описание слайда:

Следует учитывать, что разнообразие решаемых педагогических задач не позволяет предоставить учителю унифицированную методику тестирования, одинаковых правил проведения тестов и оценки результатов тестирования. Это требует от экспериментаторов (учителей) проявления самостоятельности в решении теоретико-методологических и организационных вопросов тестирования. Тестирование на уроке необходимо увязать с его содержанием. Другими словами, примененный тест или тесты при соблюдении соответствующих требований (как к методу исследования) должны органически входить в состав запланированных физических упражнений. Если, допустим, у детей требуется определить уровень развития скоростных способностей или выносливости, то необходимые тесты следует запланировать в ту часть урока, в которой будут решаться задачи развития соответствующих физических способностей.

43 слайд

Описание слайда:

Частота проведения тестирования во многом определяется темпами развития конкретных физических способностей, возрастно-половыми и индивидуальными особенностями их развития. Например, чтобы добиться существенного прироста быстроты, выносливости или силы, требуется несколько месяцев регулярных занятий (тренировок). В то же время для того, чтобы получить достоверный прирост гибкости или отдельных координационных способностей, требуется всего 4-12 тренировок. Достичь улучшения физического качества, если начинать «с нуля», можно и за более короткий срок. А для того, чтобы улучшить это же качество, когда оно у ребенка высокого уровня, требуется больше времени. В этой связи учитель должен глубже изучить особенности развития и совершенствования разных двигательных способностей у детей в разные возрастно-половые периоды.

44 слайд

Описание слайда:

При оценке общей физической подготовленности детей можно использовать самые разнообразные батареи тестов, выбор которых зависит от конкретных задач тестирования и наличия необходимых условий. Однако в связи с тем, что полученные результаты тестирования можно оценивать лишь путем сравнения, целесообразно выбирать тесты, которые широко представлены в теории и практике физического воспитания детей. Например, опираться на те, которые рекомендованы в программе по ФК. Для сравнения общего уровня физической подготовленности ученика или группы учащихся с помощью комплекса тестов прибегают к переводу результатов тестирования в очки или баллы. Изменение суммы очков при повторных тестированиях позволяет судить о прогрессе как отдельного ребенка, так и группы детей.

49 слайд

Описание слайда:

Важной стороной тестирования является проблема выбора теста для оценки конкретной физической способности и общей физической подготовленности.

50 слайд

Описание слайда:

Практические рекомендации и советы. ВАЖНО: Определить (выбрать) батарею (или совокупность) необходимых тестов с подробным изложением всех деталей их проведения; Установить сроки тестирования (лучше - 2-3 недели сентября - 1-е тестирование, 2-3 недели мая - 2-е тестирование); В соответствии с рекомендацией точно определить возраст детей на день тестирования и их пол; Разработать единые протоколы регистрации данных (возможно на основе использования ИКТ); Определить круг помощников и осуществить саму процедуру тестирования; Сразу провести математическую обработку данных тестирования - вычисление основных статистических параметров (средняя арифметическая, ошибка средней арифметической, стандартное отклонение, коэффициент вариации и оценки достоверности различий между средними арифметическими показателями, например параллель классов одной и той же и разных школ детей такого-то возраста и пола); Одним из значительных этапов работы может быть перевод результатов тестирования в очки или баллы. При регулярном тестировании (2 раза в год, в течение нескольких лет) это позволит учителю иметь представление о прогрессе результатов.

51 слайд

Описание слайда:

Москва «Просвещение» 2007 Книга содержит наиболее распространённые двигательные тесты по оценке кондиционных и координационных способностей учащихся. Пособие предусматривает индивидуальный подход учителя физической культуры к каждому конкретному ученику с учётом его возраста и телосложения.

ГЛАВА 3. СТАТИСТИЧЕСКАЯ ОБРАБОТКА РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ

Статистическая обработка результатов тестирования позволяет с одной стороны, объективно определить результаты испытуемых, с другой – оценить качество самого теста, тестовых заданий, в частности оценить его надежность. Проблеме надежности уделено много внимания в классической теории тестов. Эта теория не потеряла своей актуальности и в настоящее время. Несмотря на появление, более современных теорий, классическая теория продолжает сохранять свои позиции.

3.1. ОСНОВНЫЕ ПОЛОЖЕНИЯ КЛАССИЧЕСКОЙ ТЕОРИИ ТЕСТОВ

3.2. МАТРИЦА РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ

3.3. ГРАФИЧЕСКОЕ ПРЕДСТАВЛЕНИЕ ТЕСТОВЫХ БАЛЛОВ

3.4. МЕРЫ ЦЕНТРАЛЬНОЙ ТЕНДЕНЦИИ

3.5. НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ

3.6. ДИСПЕРСИЯ ТЕСТОВЫХ БАЛЛОВ ИСПЫТУЕМЫХ

3.7. КОРРЕЛЯЦИОННАЯ МАТРИЦА

3.8. НАДЕЖНОСТЬ ТЕСТА

3.9. ВАЛИДНОСТЬ ТЕСТА

ЛИТЕРАТУРА

ОСНОВНЫЕ ПОЛОЖЕНИЯ КЛАССИЧЕСКОЙ ТЕОРИИ ТЕСТОВ

Создателем классической теории тестов (Classical Theory of mental tests) является известный британский психолог, автор факторного анализа, Чальз Эдвард Спирмен (Charles Edward Spearman) (1863-1945 г.) 1 . Он родился 10 сентября 1863 года, и четверть своей жизни прослужил в британской армии. По этой причине, степень доктора философии он получил только в возрасте 41 года 2 . Диссертационное исследование Ч.Спирмен выполнял в Лейпцигской лаборатории экспериментальной психологии под руководством Вильгельма Вундта (Wilhelm Wundt). В тот период на Ч.Спирмена сильное влияние оказали работы Фрэнсиса Гальтона (Francis Galton) по тестированию интеллекта человека. Учениками Ч.Спирмена были R.Cattell и D.Wechsler. В числе его последователей можно назвать A.Anastasi, J. P. Guilford, P.Vernon, C.Burt, A.Jensen.

Большой вклад в развитие классической теории тестов внес Льюис Гуттман (Louis Guttman, 1916-1987) 3 .

Всесторонне и полно классическая теория тестов впервые изложена в фундаментальном труде Гарольда Гулликсена (Gulliksen H., 1950 г.) 4 . С тех пор теория несколько видоизменялась, в частности совершенствовался математический аппарат. Классическая теория тестов в современном изложении приведена в книге Crocker L., Aligna J. (1986 г.) 5 . Из отечественных исследователей впервые описание этой теории дал В.Аванесов (1989 г.) 6 . В работе Челышковой М.Б. (2002 г.) 7 приведены сведения о статистическом обосновании качества теста.

Классическая теория тестов основывается на следующих пяти основных положениях.

1. Эмпирически полученный результат измерения (X) представляет собой сумму истинного результата измерения (T) и ошибки измерения (E) 8:

X = T + E (3.1.1)

Величины T и E обычно неизвестны.

2. Истинный результат измерения можно выразить как математическое ожидание E(X):

3. Корреляция истинных и ошибочных компонентов по множеству испытуемых равна нулю, то есть ρ TE = 0.

4. Ошибочные компоненты двух любых тестов не коррелируют:

5. Ошибочные компоненты одного теста не коррелируют с истинными компонентами любого другого теста:

Кроме этого, основу классической теории тестов составляют два определения – параллельных и эквивалентных тестов.

ПАРАЛЛЕЛЬНЫЕ тесты должны соответствовать требованиям (1-5), истинные компоненты одного теста (T 1) должны быть равны истинным компонентам другого теста (T 2) в каждой выборке испытуемых, отвечающих на оба теста. Предполагается, что T 1 =T 2 и, кроме того, равны дисперсии s 1 2 = s 2 2 .

Эквивалентные тесты должны соответствовать всем требованием параллельных тестов за исключением одного: истинные компоненты одного теста не обязательно должны равняться истинным компонентам другого параллельного теста, но отличаться они должны на одну и ту же константу с .

Условие эквивалентности двух тестов записывается в следующем виде:

где c 12 - константа различий результатов первого и второго тестов.

На основе приведенных положений построена теория надежности тестов 9,10 .

то есть, дисперсия полученных тестовых баллов равна сумме дисперсий истинных и ошибочных компонентов.

Перепишем это выражение в следующем виде:

(3.1.3)

Правая часть этого равенства представляет собой надежность теста (r ). Таким образом надежность теста можно записать в виде:

На основе этой формулы в последующем были предложены различные выражения для нахождения коэффициента надежности теста. Надежность теста представляет собой его важнейшую характеристику. Если неизвестна надежность, то результаты тестирования невозможно интерпретировать. Надежность теста характеризует его точность как измерительного инструмента. Высокая надежность означает высокую повторяемость результатов тестирования в одинаковых условиях.

В классической теории тестов важнейшей проблемой является определение истинного тестового балла испытуемого (T). Эмпирический тестовый балл (X) зависит от многих условий – уровня трудности заданий, уровня подготовленности испытуемых, количества заданий, условий проведения тестирования и т.д. В группе сильных, хорошо подготовленных испытуемых, результаты тестирования будут как правило, лучше,. чем в группе слабо подготовленных испытуемых. В этой связи остается открытым вопрос о величине меры трудности заданий на генеральной совокупности испытуемых. Проблема заключается в том, что реальные эмпирические данные получают на вовсе не случайных выборках испытуемых. Как правило, это учебные группы, представляющие собой множество учащихся достаточно сильно взаимодействующих между собой в процессе учения и обучающиеся в условиях, часто не повторяющихся для других групп.

Найдем s E из уравнения (3.1.4)

Здесь в явной форме показана зависимость точности измерения от величины стандартного отклонения s X и от надежности теста r .

Основные вопросы: Тест как инструмент измерения. Основные теории тестирования. Функции, возможности и ограничения тестирования. Применение тестов в оценке персонала. Преимущества и недостатки использования тестов. Формы и виды тестовых заданий. Технология построения задания. Оценка качества теста. Достоверность и валидность. Программное обеспечение для разработки тестов. 2

Тест как инструмент измерения Основные понятия в тестологии: измерение, тест, содержание и форма заданий, надежность и валидность результатов измерения. Кроме того, в тестологии используются такие понятия статистической науки, как выборочная и генеральная совокупность, средние показатели, вариация, корреляция, регрессия и др. 4

Тестовое задание - это дидактически и технологически эффективная единица контрольного материала, часть теста, которая отвечает требованиям предметной чистоты содержания (или одномерности), содержательной и логической правильности, правильности формы, приемлемости геометрического образа задания. 6

Традиционный тест представляет собой стандартизованный метод диагностики уровня и структуры подготовленности. В таком тесте все испытуемые отвечают на одни и те же задания, в одинаковое время, в одинаковых условиях и с одинаковыми правилами оценивания ответов. Для достижения цели тестирования можно создать бесчисленное количество тестов, и все они могут соответствовать достижению поставленной задаче. 8

Профессиограмма (от лат. Professio специальность + Gramma запись) система признаков, описывающих ту или иную профессию, а также включающая в себя перечень норм и требований, предъявляемых этой профессией или специальностью к работнику. В частности, профессиограмма может включать в себя перечень психологических характеристик, которым должны соответствовать представители конкретных профессиональных групп. 9

Основные теории тестирования Первые научные труды по теории тестов появилась в начале ХХ века, на стыке психологии, социологии, педагогики и других, так называемых поведенческих наук. Зарубежные психологи называют эту науку психометрикой (Psychometrika), а педагоги - педагогическим измерением (Educational measurement). Незамутненная идеологией и политикой, интерпретация названия « тестология » проста и прозрачна: наука о тестах. 10

Первый этап - предыстория - с древности до конца XIX века, когда были распространены донаучные формы контроля знаний и способностей; второй период, классический, продолжался с начала 20- х до конца 60- х годов, в течение которого создавалась классическая теория тестов; третий период - технологический - начавшийся с 70- х годов - время разработки методов адаптивного тестирования и обучения, методологию эффективной разработки тестов и тестовых заданий для параметрической оценки испытуемых по измеряемому латентному качеству. 11

Функции, возможности и ограничения тестирования Применяемые при отборе тесты предназначены для того, чтобы получить психологический портрет кандидата, оценить его способности, а также профессиональные знания и навыки. Тесты позволяют сравнивать кандидатов между собой или с эталонами, то есть идеальным кандидатом. Тесты используются для измерения качеств человека, необходимых для результативного выполнения работы. Некоторые тесты устроены таким образом, чтобы работодатель сам администрировал тестирование и подсчитывал результаты. Другие требуют услуг опытных консультантов, чтобы обеспечить их правильное применение. 12

Ограничения использования тестов связаны - с их дорогим администрированием; - с пригодностью для оценки способностей человека; - тесты более успешны для прогнозирования успешности в работе, которая содержит короткие по времени профессиональные задачи, и не очень удобны в случаях, когда задачи, решаемые на работе, занимают несколько дней или недель. 13

2. Используемая терминология должна быть подобрана в расчете на конкретную целевую аудиторию. Также нужно исключить излишние статьи или статьи, включающие два или более вопроса, так как они иногда сбивают с толку респондента и затрудняют интерпретацию. 17

3. Чтобы удовлетворить всем этим требованиям, следует просмотреть весь банк вопросов статью за статьей и проанализировать, какой цели служит каждая из них. Например, если тест разрабатывается для измерения аналитических способностей стажеров - бухгалтеров, стоит подумать, что в этом случае означает понятие « аналитические способности ». 18

5. Когда вопросы и форматы подсчета результатов выбраны, их нужно преобразовать в удобный для пользователя формат, с ясно написанными инструкциями и вопросами - примерами; так, чтобы выполняющие тест кандидаты полностью понимали, что от них требуется. 20

6. Очень часто на этом этапе разработки в тест включают больше вопросов, чем нужно. По некоторым оценкам, в три раза больше, чем останется в окончательном тесте или системе измерения. Тогда исходной мерой станет проверка разрабатываемого теста на относительно широкой выборке из числа существующих работников, чтобы убедиться в том, что все вопросы легко понятны. 21

7. Тесты на определение знаний обычно начинаются с простых вопросов, постепенно усложняющихся к концу. Когда тесты предназначаются для измерения социальных установок и личностных характеристик, возможно, будет полезным чередовать негативно и позитивно сформулированные статьи, чтобы избежать непродуманных ответов. 22

8. Последний этап представляет собой применение теста на широкой репрезентативной выборке, чтобы установить нормы выполнения, достоверности и валидности еще до начала его использования в качестве инструмента отбора. Кроме того, необходимо определить справедливость теста, чтобы убедиться, что он не дискриминирует никакие подгруппы населения (например, этническим отличиям). 23

Оценка качества теста Чтобы методы отбора были достаточно результативными они должны быть надежными, валидными и достоверными. Достоверность метода отбора характеризуется его неподверженностью систематическим ошибкам при измерении, то есть его состоятельности при разных условиях. 24

На практике достоверность при вынесении суждений достигается сравнением результатов двух и более аналогичных тестов, проведенных в разные дни. Другой путь повышения достоверности – сравнение результатов нескольких альтернативных методов отбора (например, тест и беседа). Если результаты сходны или одинаковы, можно считать их верными. 25

Надежность означает, что проведенные замеры дадут тот же результат, что и предыдущие, то есть на результаты оценки не влияют сторонние факторы. Валидность означает, что этот метод измеряет именно то, для чего он предназначен. Максимально возможная точность информации, получаемой специально разработанными методиками в научных исследованиях, ограничена техническими факторами и не превышает 0,8. 26

В практике отбора персонала отмечается, что надежность различных методов оценки располагается в интервалах: 0,1 – 0,2 – традиционное интервью; 0,2 – 0,3 – рекомендации; 0,3 – 0,5 – профессиональные тесты; 0,5 – 0,6 – структурированное интервью, интервью по компетенциям; 0,5 – 0,7 – когнитивные и личностные тесты; 0,6 – 0,7 – компетентностный подход (ассессмент - центр). 27

Под обоснованностью понимается то, с какой степенью точности данный результат, метод или критерий « предсказывает » будущую результативность тестируемого человека. Обоснованность методов относится к выводам, сделанным на основе той или иной процедуры, а не к самой процедуре. То есть метод отбора может сам по себе быть достоверным, но не соответствовать конкретной задаче: измерять не то, что требуется в данном случае. 28

Программное обеспечение для разработки тестов В отечественной практике представлены различные комплексные программы с модулем « Психодиагностика », например, программа «1 С: Зарплата и Управление Персоналом 8.0» с модулем « Психодиагностика », разработанная совместно с группой преподавателей кафедры психологии личности и общей психологии факультета психологии МГУ им. М. В. Ломоносова под руководством д. псих. наук, проф. А. Н. Гусева. Учебный тренажер для разработки систем оценки персонала и адаптации тестовых методик факультета психологии ТГУ, разработанный также на базе «1 С: Предприятие 8.2» фирмой Персонал Софт. 29

Литература: Отбор и найм персонала: технологии тестирования и оценки / Доминик Купер, Иван Т. Робертсон, Гордон Тинлайн. – М., изд - во « Вершина, – 156 с. Психологическое обеспечение профессиональной деятельности: теория и практика / Под ред. Проф. Г. С. Никифорова. – СПб.: Речь, – 816 с. 30