Поиск по базе сайта:
Технологии обработки данных компьютерного тестирования и проверки адекватности модели тестирования icon

Технологии обработки данных компьютерного тестирования и проверки адекватности модели тестирования




Скачати 101.04 Kb.
НазваТехнологии обработки данных компьютерного тестирования и проверки адекватности модели тестирования
Дата конвертації23.07.2013
Розмір101.04 Kb.
ТипДокументи

ТЕХНОЛОГИИ ОБРАБОТКИ ДАННЫХ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ И ПРОВЕРКИ АДЕКВАТНОСТИ МОДЕЛИ ТЕСТИРОВАНИЯ

Попов Александр Петрович, Попова Татьяна Юрьевна, Зыкова Ольга Игоревна, Манаенкова Ольга Николаевна, Железняк Евгений Юрьевич

(nanosys@mail.ru)

ФГОУ ВПО «Южный Федеральный Университет» Педагогический институт (ПИ ЮФУ)


Аннотация

Приводятся результаты обработки данных сессии тестирования и проверки адекватности предложенной в работах А.П.Попова модели тестирования [1-4] по технологиям, разработанным в отделе контроля качества образования ПИ ЮФУ.


В статьях А.П.Попова [1-4] были развиты принципиально новые подходы в теории тестирования, и были описаны технологии обработки данных сессии тестирования и проверки адекватности новой модели. Здесь мы намерены показать результаты практического применения теории, развитой в упомянутых работах.

Приведем результаты обработки данных сессии тестирования по дисциплине «Методы анализа и обработки данных». В сессии приняли участие 35 студентов второго курса Института экономики ЮФУ. База тестовых заданий содержит около 200 заданий, из которых формируются индивидуальные тесты из 14 заданий. Характеристики тестовых заданий, полученные в результате обработки, представлены таблица 1.


Таблица 1. Основные характеристики тестовых заданий.

Номер ТЗ

Трудность ТЗ


Вероятность верного решения ТЗ,

%

Вероятность неверного решения ТЗ,

%

Среднее время верного решения ТЗ,

сек.

Среднее время неверного решения ТЗ,

сек.

1

1.88

69

31

147

125

2

2.07

43

57

110

114

3

2.78

46

54

192

107

4

1.75

63

37

125

86

5

2.53

34

66

158

81

6

1.9

11

89

196

84

7

1.67

20

80

135

54

8

1.24

34

66

39

75

9

1.02

14

86

25

139

10

1.13

46

54

59

45

11

1.66

26

74

112

66

12

1.55

37

63

69

60

13

1.31

37

63

83

85

14

0.99

31

69

63

34



По результатам тестирования каждому испытуемому присваивается рейтинг, равный суммарной трудности верно решенных тестовых заданий (для удобства сравнения эта оценка приводится к 100-бальной шкале нормировкой на наилучший результат, полученный в данной сессии тестирования).

Таблица 2. Рейтинг участников сессии тестирования.



ФИО

Рейтинг



ФИО

Рейтинг

1

Ляпина Е.В.

100

19

Губкина Е.Г.

40

2

Гончарова О.О.

77

20

Мамаева М.М.

39

3

Натобидзе М.В.

76

21

Яшлян О.О.

37

4

Волошко М.Ю.

74

22

Баканова Е.А.

31

5

Прилипа Т.А.

72

23

Ткаченко Л.Н.

30

6

Климова Я.В.

70

24

Иванова А.О.

30

7

Кочетова К.В.

68

25

Бурба И.В.

29

8

Косарева С.А.

68

26

Богданова А.В.

29

9

Никитина Н.Ю.

67

27

Лебединец Я.И.

29

10

Михайлова А.С.

63

28

Кобяцкая А.А.

27

11

Тищенко Е.В.

63

29

Грибкова А.С.

22

12

Власова Н.А.

63

30

Ионова Е.В.

20

13

Загорулько В.В.

57

31

Рутенко А.О.

17

14

Попова И.А.

56

32

Еременко М.С.

16

15

Груздева А.М.

51

33

Близнякова А.Н.

10

16

Сокол Е.А.

48

34

Пархоменко Ю.С.

6

17

Захарова А.С.

46

35

Ключникова М.Р.

6

18

Наноян Ж.А.

41

36








Новая модель тестирования допускает полную и всестороннюю проверку всех лежащих в ее основе положений или непосредственно вытекающих из них. Здесь приводятся лишь результаты проверки гипотезы об аддитивности трудности составных тестовых заданий. Методика проверки подробно описана в наших предыдущих работах, частности в докладах [5-7], представленных на конференции ИТО 2009.




Рис. 1. Регрессия двух оценок трудности составных заданий.

На рис. 1 по оси абсцисс откладывается оценка трудности составного задания, полученная суммированием трудностей исходных заданий, а по оси ординат – оценка, полученная в результате обработки данных виртуального тестирования.

Уравнение регрессии в канонической форме:




Силами сотрудников отдела были созданы базы тестовых заданий по основным разделам высшей математики (линейная и векторная алгебра, пределы, производные, интегралы, ряды), по экономико-математическим дисциплинам (методы анализа и обработки данных, эконометрика, математические модели и методы в экономике). Эти базы могут быть использованы при проведении текущего или итогового контроля знаний студентов по соответствующим дисциплинам в форме компьютерного тестирования.

В отделе созданы также базы тестовых заданий по различным разделам элементарной математики, которые могли бы быть использованы для подготовки школьников к ЕГЭ или для диагностического тестирования студентов первого курса высших учебных заведений.

При создании баз тестовых заданий мы опирались на приобретенный опыт и руководствовались ранее наработанными методиками [8].


Литература

1. Попов А.П., Богомолов А.А., Попова Л.А. Новая математическая модель тестирования. Наука и образование, № 3, с. 221-228, 2005.

2. Попов А.П. Новое направление в теории тестирования. Известия ЮФУ. Педагогические науки, № 1-2, с.24-31, 2008.

3. Попов А.П., Попова Т.Ю., Акулов С.Ю. О принципиально новом направлении в теории тестирования. Электронный журнал ВГПУ «Грани познания», №4(5), Ноябрь 2009. www.grani.vspu.ru.

4. Попов А.П. О возможности создания единой системы компьютерного тестирования в России. Вестник Марийского государственного университета, №5, с. 164-168, 2010.

5. Попов А.П., Акулов С.Ю., Попова Т.Ю.. Модуль обработки данных в системе компьютерного тестирования. Сборник трудов IX НПК «Информационные технологии в образовании», с. 113-114. Ростов-на-Дону, 2009.

6. Попов А.П., Акулов С.Ю., Попова А.П.. Проверка адекватности новой модели тестирования. Сборник трудов IX НПК «Информационные технологии в образовании», с. 114-115. Ростов-на-Дону, 2009.

7. Попов А.П., Манаенкова О.Н., Зыкова О.И., Попова Т.Ю. Проблема определения трудности тестовых заданий. Сборник трудов IX НПК «Информационные технологии в образовании», с. 112, Ростов-на-Дону, 2009.

8. Попов А.П., Манаенкова О.Н., Зыкова О.И., Попова Т.Ю. Принципы формирования баз тестовых заданий. Сборник трудов IX НПК «Информационные технологии в образовании», с. 112-113. Ростов-на-Дону, 2009.



Схожі:




База даних захищена авторським правом ©lib.exdat.com
При копіюванні матеріалу обов'язкове зазначення активного посилання відкритою для індексації.
звернутися до адміністрації