Постановка проблемы. Реформирование и модернизация архаичного постсоветского образования включают в виде необходимого аспекта измерение качества образовательного продукта. Разумеется, далеко не всё в образовании измеримо. Некая скрытая сущность образования и, в частности, университетского заведомо не поддается никаким измерениям. Недавно умерший французский философ Жак Деррида говорил, что "сущность академической ответственности не сводится к формированию профессиональной компетенции", а Мартин Хайдеггер в известной "Ректорской речи" объявлял научение ремеслу "праздным и неподлинным" [1]. Тем не менее, многое в образовании может быть и должно быть измерено, многие измерительные процедуры давно укоренились в педагогических системах развитых стран.

На данный момент в Украине почти отсутствуют научные изыскания, посвященные процедурам образовательных измерений. Участие Украины в Болонском процессе стимулирует разработку этих вопросов.

Анализ последних исследований и публикаций. Фундаментальное направление американской педагогической науки - Educational Measurement - сложилось как академическая дисциплина более 50 лет назад; педагогические практики же, из которых выросла эта дисциплина, имеют столетнюю историю. Выдвижение качества образования на передний край педагогической системы независимой Украины подразумевает, в частности, необходимость освоения этой фундаментальной дисциплины, необходимость изучения ее социально-философской базы, устоявшихся педагогических взглядов, рабочих рецептов и технических аспектов измерительных процедур. Мы полагаем, что в учебные планы украинских вузов должны быть включены соответствующие учебные предметы: "Введение в образовательные измерения", "Теория и общие принципы стандартизованных измерительных процедур в образовании", "Разработка, администрирование и оценивание результатов стандартизованных измерительных процедур в образовании", "Стандартизованные тесты в образовании". Мы должны обучить целое поколение педагогов работе со стандартизованными измерительными процедурами в образовании, только после этого вопрос о качестве образования приобретает операционный смысл.

Возможно, постсоветская модель образования будет сопротивляться любым попыткам измерить ее качество. Известный теоретик менеджмента Ричард Акофф говорил, что рядовые университеты сопротивляются попыткам измерить их продуктивность и изменить рядовой университет "также трудно как кладбище, и по тем же причинам" [2: глава 3]. Терпеливое освоение векового педагогического наследия в области Educational Measurement представляется необходимым элементом обеспечения качества образования. Возможно, уже нецелесообразно переводить на русский или украинский язык классические книги этой дисциплины: монографию Виктора Нолла "Введение в образовательные измерения" [3], а также первые три издания фундаментальной монографии "Образовательные измерения" [4,5,6]. Эти книги выходили в 50-е - 90-е годы прошлого столетия. Однако усвоение этого материала, адаптация его к реальным условиям украинского образования, введение его в широкий научно-педагогический оборот и массовую педагогическую практику - чрезвычайно назревшая задача. Может быть оправданным перевод четвертого издания "Educational Measurement", которое готовится сейчас американским Национальным советом по измерениям в образовании и Американским советом по образованию. Возможно, был бы оправдан перевод стандартов качества и справедливости (Standards for Quality and Fairness), разработанных мировым лидером образовательного тестирования - специализированной американской образовательной организацией Educational Testing Service [7,8] и фундаментальной "библии" образовательного и психологического тестирования, содержащей лапидарные нормативные формулировки стандартов и минимально необходимые комментарии к ним [9]. Принес бы немалую пользу перевод монографии, посвященной разработке вопросов для тестов [10] или подготовка аналогичного отечественного пособия. Мы полагаем также, что необходимы отечественные монографии по различным аспектам математической обработки результатов образовательных измерений, прежде всего по социально-значимым вопросам сопоставимости тестов (test equating). Перевод классической монографии Уильяма Ангоффа "Шкалы, нормы и эквивалентные оценки" [11], возможно, запоздал бы на двадцать лет; перевод же современной монографии, также подготовленной в Принстонской штаб-квартире ETS, "Метод ядра в сопоставлении тестов" [12], возможно, опередил бы лет на двадцать пределы восприятия отечественной образовательной среды; нужен некий промежуточный уровень обучения педагогов, позволяющий украинскому образованию войти в форсированный режим "гонки за мировыми лидерами". Мы полагаем, что политическое решение о реформировании отечественного образования (и, в частности, решение о замене вступительных экзаменов тестами) отделяют от фундаментального и полноценного воплощения многие годы этой форсированной гонки: речь идет не столько о преодолении коррупции в образовании, сколько о лечении коррумпированного и самодовольного общества. Академические и образовательные круги могут внести вклад в эти процессы тщательным самообразованием и терпеливой просветительской деятельностью; все остальное должно быть оставлено неторопливому движению истории и божьей воле.

Постановка задачи. Цель данной статьи - обосновать необходимость изучения теоретического наследия и практических приемов отсутствующей на постсоветских территориях педагогической дисциплины "Educational Measurement".

Изложение основного материала. Почти век тому назад, в 1902 году, двенадцать американских колледжей и университетов объединили свои усилия для разработки унифицированных процедур вступительных экзаменов. В университетах старались отойти от привычной для нас билетной системы устных экзаменов ("ticket system"), заменяя ее письменным экзаменом или тестированием. Очевидная цель таких перемен - стремление уменьшить субъективные аспекты экзаменационной обстановки, сделать оценку знаний и навыков более объективной и ситуационно независимой. При поступлении в университеты с 1926 года стали использовать стандартизованное тестирование [13]. Вначале тесты представляли собой примитивный продукт, не имеющий под собой серьезного научного обоснования - вот что нас ждет в Украине в условиях поспешного повсеместного введения тестов. Некоторые современные тесты на пространствах СНГ достаточно сильно напоминают первые американские продукты тестирования столетней давности. Стремясь к совершенствованию процедур оценивания достижений учащихся, американские специалисты продолжали разработку процедур создания и улучшения тестов, методов их проведения, обработки и анализа результатов. Так создавалась упомянутая ранее новая отрасль педагогической науки "Educational Measurement".

В 1947 году была организована Служба образовательного тестирования - Educational Testing Service (ETS) для обслуживания потребностей области образовательного тестирования, контроля и измерения качества знаний. К тому времени в США широко использовались тесты SAT (the Scholastic Aptitude Test) - для зачисления студентов в колледжи и университеты, GRE (Graduate Record Examinations) - для поступления в магистратуру и докторантуру, а также различные другие тесты достижений, квалификационные тесты. Появление ETS назрело в американском обществе по многим причинам. В 40-е годы прошлого столетия потребность в персонале (разработчики тестов, специалисты по статистическим измерениям, специалисты, обеспечивающие защиту тестов и тестовых процедур), обслуживающим тесты, увеличивалась. Организация тестирования в определенное время и в определенном месте квалифицированными специалистами становилась невыгодной с точки зрения как денежных и временных затрат, так и объективности.

19 декабря 1947 года открытие компании ETS было профинансировано Наблюдательным советом штата Нью-Йорк (Board of Regents of the State of New York). В тот день, а также в течение следующих десяти лет, в результате переговоров, Американский совет по образованию (ACE, American Council on Education), Фонд Карнеги по совершенствованию преподавания (ОПС, the Carnegie Foundation for the Advancement of Teaching) и Совет по процедурам приема в колледжи (College Entrance Examination Board, сейчас он переименован в Совет колледжей - College Board) передали администрируемые ими тестовые программы, часть своих средств и некоторых своих сотрудников во вновь образованную компанию ETS. В то время ETS стала единственной общенациональной организацией, предназначением которой было и есть обслуживание образовательного тестирования и проведение исследований в этой области. Сейчас в США появились и другие компании, работающие в области разработки и администрирования тестов. Естественно, эти компании - конкуренты ETS. Зачастую они перехватывают крупные заказы у этой именитой и богатой опытом фирмы. Но, мы полагаем, что эта конкуренция способствует прогрессу этой отрасли. Эти фирмы не являются ни государственными, ни коммерческими структурами. Их финансируют ассоциации учебных заведений.

В настоящее время в ETS работают более чем 2500 сотрудников, среди которых около 1100 профессионалов - специалистов по образованию, психологии, статистике и психометрии (psychometrics), компьютерным наукам, социологии. Остальные сотрудники отвечают за организационное обеспечение, издательскую, рекламную деятельность и связи с общественностью.

Приведем далеко не полный список тестов, разрабатываемых и администируемых ETS:

педагогическая дисциплина

· SAT I: Reasoning Test и SAT II: Subject Tests - результаты этого общенационального теста используются наряду с другими критериями для зачисления в колледжи и университеты США;

· AP: Advanced Placement - более 30 тестов по различным дисциплинам школы, позволяющие выпускникам набирать зачетные кредиты, чтобы в колледжах и университетах не изучать курсы, в которых они уже достигли успехов. Обычно курс и тест разрабатываются совместно;

· CLEP: College Level Examination Program - тесты по ряду предметов, позволяющие выпускникам школ, а также взрослым, восстановившимся в колледже или университете после некоторого перерыва, показывать университетский уровень достижений;

· GRE (Graduate Record Examination) General - компьютерно-адаптивный тест с вербальной и количественной секциями, а также с эссе. Используется для поступления в магистратуру и аспирантуру;

· GRE Subject - тест, измеряющий достижения после окончания бакалаврского цикла по 8 дисциплинам и используется при поступлении в магистратуру и аспирантуру;

· GMAT (Graduate Management Admissions Test) - тест с вербальной и количественной секциями, а также с эссе. Используется для поступления в магистратуру и аспирантуру по специальностям, связанным с бизнесом и экономикой;

· The Praxis Series: Professional Assessments for Beginning Teachers - тест для начинающих учителей. Цель этого теста - определение достаточности у них знаний и навыков для работы в школе. Предлагаются два варианта теста - компьютерный (computer-based) и бумажного формата (paper-and-pencil);

· State assessments test - тест для оценивания уровня преподавания в школах. Разрабатывается для нескольких штатов, включая Калифорнию, Мериленд и Нью-Джерси. Напоминает итоговый экзамен по дисциплине или выпускные экзамены в школе;

· National Assessment of Educational Progress (NAEP) - тест для определения учебных достижений в 4, 8 и 12 классах американских школ. Они используются не для оценивания отдельного ученика, а для понимания в целом ситуации в школах, в образовательном пространстве штатов, регионов и по стране.

Приведем несколько примеров использования тестов, разрабатываемых в ETS, в образовании. Тесты для поступления в колледжи и университеты (College Admissions and Placement) используют баллы для принятия решения о зачислении студента: при поступлении на первые курсы абитуриенты могут сдавать SAT I, SAT II, PSAT, AP, CLEP, TOEFL; при поступлении в магистратуру или аспирантуру GRE General and Subject Tests, GMAT.

Департаменты образования штатов используют баллы, полученные при тестировании для того, чтобы лицензировать учителей. Примером таких тестов являются The Praxis Series (по математике, физике, химии,.)

Для регулирования образовательной политики, реформирования учебных программ и планов в масштабах штата или даже всего государства используются тесты NAEP, которые разрабатываются как для использования внутри штата, так и по всей стране, чтобы выяснить достижения учеников школ в чтении, математике, науке, письме и по другим предметам. SAT и другие общенациональные тесты используются для оценки уровня знаний каждого школьника. Здесь надо отметить, что в США нет общенационального стандарта обучения, каждая школа, колледж, университет самостоятельно определяет чему и как учить, однако имеются единые стандартизованные тесты, что служит своего рода выравнивателем программ обучения по всей стране.

Необходимо отметить, что тестирование в США имеет богатый опыт и научно-обоснованный аппарат. Целесообразно его изучение и адаптация на образовательном поле Украины.

Подробнее об образовательном тестировании в США можно прочитать в статье [14].

Архаичность постсоветского высшего образования в сфере педагогики проявляется в предельной узости специализаций, в бедности наименований учебных предметов, предлагаемых студентам. Изучение списка дисциплин, читаемых в любом университете США для будущих работников образования, демонстрирует гигантский цивилизационный разрыв в спектре знаний и навыков, который украинское высшее образование вынуждено будет преодолеть в ближайшие десятилетия. Примеров множество, достаточно рассмотреть один.

В Университете Амхерст (University of Massachusetts Amherst) имеется отделение образовательной политики, исследований и администрирования [15]. Программы подготовки докторов в этом университете ведутся по направлениям "Образовательная политика и лидерство", а также "Исследования и методы оценивания". Магистрам для обучения предложены направления - "Образовательное администрирование", "Высшее образование", "Международное образование" и "Изучение образовательной политики". Приведем перечень некоторых дисциплин, которые в 2004-2005 учебном году предложены для изучения студентам-бакалаврам этого отделения:

· Основы создания тестов (Fundamentals of Test Construction). Дисциплина призвана научить студентов строить инструментарий оценивания, необходимый для измерения характеристик индивидуумов и групп. Этот инструментарий относится к области образовательных исследований.

Студенты учатся создавать тесты, которые будут использоваться в аудитории, а также тесты для большей аудитории. Их обучают различным форматам вопросов теста, а также способам представления существующих типов тестов, включая множественный выбор ответов. Изучается весь процесс разработки тестов в целом, включая написание заданий, пилотное проведение теста, просмотр заданий и окончательная форма теста.

· Семинар: Высшее образование (Workshop in Education: Higher Education). Семинар для студентов, обучающий написанию экзаменационных работ, диссертационных предложений и диссертаций.

Помогает студентам развивать технику академического письма и редакторские навыки.

Студенты проводят оригинальные исследования и используют различные методы для изучения сильных, слабых сторон этих методик, а также области их применения.

· Принципы образовательного и психологического тестирования. (Principles of Educational and Psychological Testing).

Курс предназначен привить студентам старших курсов навыки образовательного и психологического тестирования и измерения.

· По окончании курса студенты должны: знать основные определения тестирования, измерения и статистики; определять ситуации, в которых нужно использовать образовательное или психологическое тестирование, с тем, чтобы получить полезные сведения об индивидууме или программе; описывать и использовать надежные и валидные концепции и методы; интерпретировать и использовать балльное шкалирование; описывать различные культурные и окружающие факторы, которые влияют на процедуру тестирования; понимать пути, которыми каждый тип теста разработан, оценен и использован; находить коммерчески доступные инструменты оценивания и определять полезность этих инструментов; идентифицировать текущие проблемы тестирования и разработки тестов.

· Методы образовательных исследований (Educational Research Methods). Основная цель этого курса состоит в том, чтобы обеспечить студентов старших курсов всеми навыками, в которых они нуждаются при проведении эмпирических исследований в области образования.

Архаичные постсоветские стандарты подготовки педагога-предметника отстают почти на столетие от этого спектра изучаемых дисциплин. Во многих вузах отсутствует и профессура, способная обучать этим дисциплинам.

Это создает еще один вызов для украинских университетов.

Выводы и перспективы дальнейших исследований

1. Для успешной модернизации украинского высшего образования необходимо усвоение педагогической общественностью фундаментальных основ отсутствовавшей в СССР педагогической дисциплины "Educational Measurement"; необходимо обучение целого поколения педагогов работе со стандартизованными измерительными процедурами в образовании.

2. Украина нуждается в создании специализированной структуры для разработки, отладки, применения и анализа национальных педагогических тестов; образцом такой структуры может служить американская служба Educational Testing Service.

3. Национальные педагогические тесты должны разрабатываться и применяться в виде пакета с широким полифункциональным спектром.

4. Необходимо введение в перечень университетских специальностей новых современных педагогических специализаций и новых учебных дисциплин, отражающих различные аспекты Educational Measurement.

Авторы предполагают дальнейшее изучение теоретических основ и практики педагогической дисциплины "Educational Measurement".

Литература

1. Деррида Ж. Университет глазами его питомцев. // Отечественные записки, № 1 (15), 2004. - http://www.strana-oz.ru/numid=15&article=273

2. Акофф Р. Планирование будущего корпорации. - М.: Прогресс, 1985 - 327 c.

3. Noll V. H. Introduction to educational measurement. - Boston: Houghton Mifflin Company; Cambridge, Ma: The Riberside Press, 1957. - 437 p.

4. Lindquist E. F. (ed.).educational measurement. - Washington, D. C.: American Council on Education, 1951 - 566 p.

5. Thorndike R. L. (ed.).educational measurement. Second edition - Washington, D. C.: American Council on Education, 1971 - 768 p.

6. Linn R. L. (ed.).educational measurement. Third edition - NY - American Council on Education and Macmillan Publishing Company; L. - Collier Macmillan Publishers, 1989. - 610 p.

7. ETS Standards for quality and fairness. - Princeton, NJ: Educational Testing Service, 2000. - 81 p.; 2002. - 81 p.

8. ETS Fairness review guidelines. - Princeton, NJ: Educational Testing Service, 2003. - 28p.

9. Standards for educational and psychological testing. - Washington, D. C.: AERA, 1999. - 194 p.

10. Irvine S. H., Kyllonen P. C. (eds.). Item generation for test development. - Mahwah, NJ; London. - Lawrence Erlbaum Associates, 2002 - 412 p.

11. Angoff W. H. Scales, norms and equivalent scores. - Princeton, NJ: Educational Testing Service, 1984. - 144 p.

12. von Davier A. A., Holland P. W., Thayer D. T. The Kernel Method of Test Equating. - NY: Springer - Verlag, 2004. - 229 c.

13. Сейдаметова З.С., Темненко В.А. Стандартизованные тесты как инструмент объективности на вступительных экзаменах в вузы // Впровадження нових інформаційних технологій навчання. Тези доповідей. - Харків: Нац. аерокосмічний ун-т "ХАІ", 2004. - С.105-108.

14. Сейдаметова З.С. Тестування: вивчення досвіду США. // Нові технології навчання - К.: Наук. - метод. центр вищої освіти, вип.39, 2004. - http://www.agronmc.com.ua/Teh39. htm#4

15. Department of Educational Policy, Research and Administration, University of Massachusetts Amherst - http://www.umass.edu/education/departments/epra. htm

Размещено на Allbest.ru