Краткий обзор исследований по проблеме клоуз-тестирования

Размещено на http://www.allbest.ru/

УДК 372.881.1

КРАТКИЙ ОБЗОР ИССЛЕДОВАНИЙ ПО ПРОБЛЕМЕ КЛОУЗ-ТЕСТИРОВАНИЯ

Педагогические науки

Балуян Светлана Размиковна, д. пед. н., доцент

Привалова Юлия Владимировна, к. пед. н., доцент Южный федеральный университет

Аннотация

Статья представляет собой краткий обзор исследований по проблеме клоуз-тестирования, впервые предложенного Дж. Оллер-мл. Результаты таких исследований, зачастую противоречивые, в силу различных причин остаются неизвестными не только преподавателям-практикам, но и тестологам. Ознакомление с ними свидетельствует об их потенциале для дальнейшего развития тестовых измерений в лингводидактике.

Ключевые слова и фразы: языковое тестирование; прагматические тесты; клоуз-тесты; история языковой тестологии.

The article presents a brief review of studies on the problem of cloze testing, first suggested by J. Oller, Jr. The results of these studies, frequently contradictive, remain unknown not only to the lecturers-practicians, but also to testologists because of various causes. Getting acquainted with them testifies about their potential for the further development of test measurements in linguodidactics.

Key words and phrases: language testing; pragmatic tests; cloze tests; the history of language testology.

Обращение к научному опыту прошлого, его эффективное и оптимальное использование имеет чрезвычайно важное значение для дальнейшего развития языкового тестирования в современный период. Сегодня в лингводидактике сложилась такая информационная ситуация, при которой в силу различных причин результаты ряда научных исследований остаются неизвестными не только преподавателям-практикам, но и тестологам. При этом не вызывает сомнений тот факт, что умение ориентироваться в огромном материале этих теоретических и практических исследований - фактор профессиональной зрелости, научной компетенции и кругозора специалистов в области тестовых измерений любого уровня.

1970-е гг. вошли в историю языковой тестологии как время серьезных перемен и движения вперед. Именно тогда Дж. Оллер-мл. стал активным пропагандистом идеи перехода от дискретного тестирования, принципы которого были разработаны Р. Ладо и другими тестологами в 1960-х гг., к интегративному, основная идея которого заключалась в интеграции знаний соответствующих языковых аспектов (произношения, грамматики, лексики) с пониманием контекста. В то же время, в связи появлением теории коммуникативной компетенции Д. Хаймза, тестологи, хотя и с некоторым опозданием, начинают исследования в области коммуникативного тестирования.

Конкуренция между этими двумя направлениями в языковой тестологии, в конечном итоге, привела к победе коммуникативного направления. Большая часть разработок Дж. Оллера-мл. и его сторонников, интересных, но не совсем соответствующих принципам коммуникативного подхода к обучению иностранным языкам, получившего широкое признание, была отвергнута или проигнорирована, но не стала всего лишь предметом изучения истории языкового тестирования. Многие тестологи по сей день обращаются к прагматическим тестам, исследуют различные их грани и достаточно активно внедряют их в практику работы. Особенно часто объектом их исследования становятся клоуз-тесты (cloze tests).

Всплеск интереса к клоуз-тестам в 1970-х гг. объяснялся, прежде всего, предположением тестологов о том, что классические клоуз-тесты могут быть использованы не только для оценивания отдельных навыков, но и общего владения языком. Исследования Дж. Оллера-мл. и его сторонников Д. Дарнелла, К. Конрада, Дж. Стаббса, Р. Такера, Дж. Брауна и др. подтвердили эту гипотезу, показав достаточно высокую корреляцию с такими известными тестовыми батареями, как TOEFL, UCLA English Placement Examination, General Examination in English as a Foreign Language, MLA Cooperative Examinations. Однако некоторые аспекты разработки и оценивания клоуз-тестов вызывали споры между тестологами. Одной из самых обсуждаемых была такая проблема: должен ли тестируемый точно восстановить оригинальное слово, или он может заменить его контекстуально подходящим словом? Какой ответ можно считать «контекстуально подходящим»? Дж. Стаббс и Р. Такер [17], а затем и Э. Бьялисток и Дж. Ховард [3] экспериментально доказали, что клоуз-тесты, проверенные по методике восстановления точного слова, и тесты, проверенные по методике подстановки контекстуально подходящего слова, имеют очень высокую корреляцию (в обоих случаях 0,97), т.е. взаимозаменяемы.

Ограничение количества правильных ответов помогает решить проблему оценивания клоуз-тестов. Дж. Бондарук и др. предложили либо давать подсказку в виде некоторых букв слова из оригинала либо предлагать тестируемым список слов для выбора [4]. Вариацией последнего формата явился предложенный Дж. Джонзом клоуз-тест множественного выбора. При этом автор утверждал, что такой тест может быть оценен очень быстро и надежно [11]. Нечто похожее предлагал и Л. Пайк [15].

Еще одной проблемой, которую необходимо было решить создателям клоуз-тестов, была проблема отбора текстов. К. Маллен была сторонницей использования более «легких» текстов [13], в то время как Ч. Олдерсон утверждал, что тесты с более «трудными» текстами лучше коррелируют с другими измерениями [1]. Конечно, такие определения были слишком расплывчатыми, так как не было разработано четких критериев для определения «легких» и «трудных» текстов. Так как теория клоуз-тестов основывалась на теории «избыточности» текста, следовало рассматривать «трудность» и «легкость» текстов с этой точки зрения, а не просто принимать во внимание уровень сложности, например, лексики.

Тестологами предлагались и более надежные способы управления уровнем сложности клоуз-тестов изменением интервала (шага) между пропусками. Как известно, в текстах убирается каждое n-е слово. Логически, чем ниже значение n, тем больше сокращается избыточность текста, и тем труднее восстановить его. Ч. Стэнсфилд установил, что корреляция результатов созданного им клоуз-теста по испанскому языку с результатами общего теста намного выше при n = 9, чем при n = 5 [16].

Еще одним способом управления трудностью клоуз-теста является целенаправленное, или «рациональное», удаление слов исходя из того, что должен данный тест измерить. Фактически, в 1970-х гг. бульшая часть тестологов продолжала традицию, заложенную Тейлором, согласно которой заданное число n определяло, какое именно и сколько всего слов должны быть удалены из текста. Однако применение клоуз-тестов как тестов общего владения языком привело некоторых из них к мысли о целесообразности изменения этой традиции. Среди них были Дж. Браун [7] и Л. Бахман [2], которые выступили в пользу «рационального» удаления слов из текста.

Большая часть исследований в области клоуз-тестов касалась английского языка как иностранного, и даже на пике популярности этого формата тестирования для других языков он использовался ограниченно. Тем не менее, такие исследования были, и проводились они на материале немецкого, японского, русского и французского языков [6], тайского и вьетнамского языков [14], испанского языка [16].

Исследование Ш. Лэпкин и М. Суэйн показало, что клоуз-тесты, предложенные детям, тоже могут дать валидные результаты [12]. Было также подтверждено мнение, что при клоуз-тестировании требуется понимание смысла всего текста, а не только отдельных фраз или слов [9]. Интерес к клоуз-тестам не стихал вплоть до 1990-х гг. Были разработаны еще несколько его разновидностей. Среди них так называемый с-тест (с-test), который впервые был предложен А. Дейвисом [10]. В этом тесте в каждом втором слове текста пропущена вторая половина слова. Если в слове нечетное число букв, то пропускается большая часть букв. Если слово состоит из одной буквы, то пропускается половина следующего слова (два задания подряд). При оценивании учитываются только точно восстановленные слова. Текст для с-теста обычно короткий, чтобы минимизировать влияние когнитивного фактора или памяти. С появлением формата с-теста тестологи связывали надежду, что им удастся преодолеть слабые стороны классического клоузтеста, так как при такой процедуре обеспечивалась представительная выборка всех лингвистических элементов на микро- и макроуровнях, не было проблем с шагом, началом отсчета пропусков, подсчетом результатов. Однако исследования К. Шапел и Р. Абрахама показали, что большой разницы в надежности с-теста и других форм клоуз-тестов нет [8]. Д. Брэдшоу отметила негативное отношение тестируемых к с-тестам [5].

Что касается современных исследований по проблеме клоуз-тестирования, обзор литературы показал, что они проводятся, в основном, в трех направлениях. Первое направление занимается структурой клоуз-тестов, например, форматом тестов, частотностью пропусков для восстановления, методикой оценивания. Второе направление исследует область применения клоуз-тестов. Тестологи, работающие в рамках этого направления, пришли к выводу, что клоуз-тесты не только измеряют общее владение языком, но и дискурсивную и грамматическую компетенции, способность к языкам и даже умение читать и понимать тексты при обучении языку для специальных целей. Третья область интереса тестологов охватывает вопросы дальнейшего усовершенствования методики клоуз-тестирования. К примеру, исследователи пришли к выводу, что выбор интервала между удаленными словами может влиять на результат тестирования, более короткий интервал может снизить надежность теста. Это позволяет усовершенствовать клоуз-тесты, а также предложить альтернативные лингводидактические измерения.

Перенос предпочтений с одной тестовой «школы» на другую в практике обучения языкам еще не означает реального прогресса в языковой тестологии. Реальный прогресс возникает только в случае появления фундаментальной теории природы владения языком, которую можно положить в основание разработки тестового инструментария. На сегодняшний день такой единой теории у тестологов нет, и сложно прогнозировать, когда она появится и какой она будет. А пока они при выборе конструкта опираются в бульшей степени на интуицию в попытке обеспечить валидность тестов. При этом необходимо заметить, что идеи «грамматики вероятностного прогнозирования» все еще соответствуют положениям психометрической теории, и отказ от прагматических тестов не был теоретически обоснован. Возможно еще рано рассматривать клоуз-тесты как архивный материал истории тестологии.

языковое тестирование коммуникативный подход

Список литературы

1.Alderson C. The Cloze Procedure and Proficiency in English as а Foreign Language // TESOL Quarterly. 1979. Vol. 13 (2). P. 219-227.

2.Bachman L. The Trait Structure of Cloze Test Scores // TESOL Quarterly. 1982. Vol. 16 (1). P. 61-70.

3.Bialystok E., Howard J. Inferencing as an Aspect of Cloze Test Performance // Working Papers in Linguistics. 1979. Vol. 17. P. 26-36.

4.Bondaruk J., Child J., Tetrault E. Contextual Testing // Testing Language ed. by R. L. Jones. Arlington: Center for Linguistics, 1975. P. 89-104.

5.Bradshaw J. Test-Takers' Reactions to a Placement Test // Language Testing. 1990. Vol. 7 (1). P. 13-30.

6.Briиre E. J., Clausing G., Senko D., Pincell E. A Look at Cloze Testing across Languages and Levels // Modern Language Journal. 1978. Vol. 62. P. 23-26.

7.Brown J. D. Relative Merits of Four Methods for Scoring Cloze Tests // Modern Language Journal. 1980. Vol. 64 (3). P. 311-317.

8.Chapelle C., Abraham R. G. Cloze Method: What Difference Does It Make? // Language Testing. 1990. Vol. 7 (2). P. 121-146. 9. Chihara T., Oller J., Weaver K., Chбvez-Oller M. A. Are Cloze Items Sensitive to Constraints across Sentences? // Language Learning. 1977. Vol. 27 (1). P. 63-73.

10.Davies A. Two tests of speeded reading // Testing Language Proficiency / ed. by R. L. Jones & B. Spolsky. : Center for Applied Linguistics, 1975. P. 119-130.

11.Jonz J. Improving on the basic egg: The m-c cloze // Language Learning. 1976. Vol. 26 (2). P. 255-265.

12.Lapkin S., Swain M. The use of English and French cloze tests in a bilingual education program evaluation: Validity and error analysis // Language Learning. 1977. Vol. 27. P. 279-314.

13.Mullen K. A. More on cloze tests as tests of proficiency in English as a second language // Concepts in Language Testing / ed. by E. J. Briиre & F. B. Hinofotis. Washington - DC: TESOL, 1978. P. 21-32.

14.Oller J. W. Jr., Bowen J. D., Diem T. T., Mason V. Cloze tests in English, Thai, and Vietnamese // Language Learning. 1972. Vol. 22. P. 1-15.

15.Pike L. An Evaluation of Alternative Item Formats for Testing English as a Foreign Language. TOEFL Research Report No. 02.

Princeton: Educational Testing Service, 1979. 110 p.

16.Stansfield C. The cloze procedure as a progress test // Hispania. 1980. Vol. 63 (4). P. 715-718.

17.Stubbs J., Tucker G. R. The cloze test as a measure of English proficiency // Modern Language Journal. 1974. Vol. 58. P. 239-241.

Размещено на Allbest.ru