Ефективність використання комп'ютерних систем контролю знань в післядипломній медичній освіті

8.Краснов В.В. Принципы исследования валидности тестов при контроле знаний врачей и провизоров // Матеріали конференції "Організація системи якості медичної допомоги, медичних послуг населенню із застосуванням інформаційних технологій." - Київ, 1999.- С.180-184.

9.Мінцер О.П., Краснов В.В. Проблеми систематизації автоматизованих атестаційних систем у медицині // Збірник науково-методичних праць "Семінар у медицині та фармації." - Київ, 2000.- С. 171-184.

10.Минцер О.П., Краснов В.В. Вопросы систематизации автоматизированных аттестационных систем в медицине (методические рекомендации). - Тернополь, “Укрмедкнига”, 2000. - 56 с.

11.Мінцер О.П., Краснов В.В., Силкова О.В. Нова ідеологія і принципи проведення практичних занять в умовах інформатизації медичної освіти.// Збірник науково-методичних праць співробітників КМАПО ім. П.Л. Шупика "Практичне заняття у підготовці лікарів і провізорів." - Київ, 2001.- С. 8-12.

12.Краснов В.В. Разветвленные алгоритмы контроля знаний - подход и реализация //Міжнародна науково-практична конференція "Інформаційні технології в охороні здоров'я та практичній медицині." - Київ, 2001.- С. 97-100.

13.Краснов В.В. Принципы интеграции всемирного распределенного интеллекта //ІІ Міжнародна науково-практична конференція "Інформаційні технології в охороні здоров'я та практичній медицині".- Київ, 2002.- С. 127-128.

14.Краснов В.В. Дослідження валідності змісту тестів при контролі знань лікарів і провізорів //Тези доповідей Всеукраїнської науково-методичної конференції "Сучасний стан вищої освіти в Україні: проблеми та перспективи." - Київ, 2000.- С. 480-483.

АНОТАЦІЯ

Краснов В.В. Ефективність використання комп'ютерних систем контролю знань в післядипломній медичній освіті. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата педагогічних наук за спеціальністю 13.00.04 - теорія і методика професійної освіти.- Інститут вищої освіти АПН України, Київ, 2003.

Дисертаційна робота присвячена актуальній темі - розробці методики визначення і підвищення ефективності автоматизованих атестаційних систем у післядипломній медичній освіті. Згідно з результативно-витратною концепцією ефективність розглянута як співвідношення між якістю роботи ААС із визначення знань лікарів і провізорів та витратами на цей процес. Критеріями якості роботи ААС із контролю знань прийняті об'єктивність, надійність, валідність, розрізнювальна здатність, серед яких валідність (і особливо валідність змісту) є одним з основних параметрів. На основі проведених у дисертації досліджень розроблено методику визначення і підвищення валідності тестових завдань і процедур автоматизованої атестації. Теоретично і практично обґрунтовано методику розрахунків дискримінативної валідності тестових завдань, запропоновано її класифікацію. Проведено класифікацію тестових завдань і процедур тестування, котрі можна використовувати в післядипломному медичному навчанні. Створено методики опрацювання бальних експертних оцінок знань із урахуванням узгодженості думок фахівців і їх компетентності. Запропоновано методику організації автоматизованої атестації за алгоритмами індивідуального, особистісно-орієнтованого підходу. Розроблена методологія визначення та підвищення валідності процедури автоматизованого контролю знань дозволяє підвищити ефективність комп'ютерної атестації на 11-13%, а якість роботи ААС із перевірки знань - на 16-17%.

Ключові слова: автоматизовані атестаційні системи, валідність та ефективність процедури атестації, експертні висновки, особистісно-орієнтовані підходи до атестації.

АННОТАЦИЯ

Краснов В.В. Эффективность использования компьютерных систем контроля знаний в последипломном медицинском образовании. - Рукопись.

Диссертация на соискание научной степени кандидата педагогических наук по специальности 13.00.04 - теория и методика профессионального образования.- Институт высшего образования АПН Украины, Киев, 2003.

Диссертационная работа посвящена проверке эффективности автоматизированных аттестационных систем в последипломном медицинском образовании. На основе проведенных в диссертации исследований сформулированы понятия эффективности использования компьютерных систем контроля знаний в последипломном медицинском образовании. Определено, что в соответствии с результативно-затратной концепцией эффективность может рассматриваться как соотношение между качеством работы ААС по определению знаний врачей и провизоров и затратами, вложенными в этот процесс. Разработана методика оценки эффективности автоматизированной проверки знаний. Определено и теоретически обоснованно, что в структуре медицинского образования особое значение приобретает проблема проверки качества усвоения курсантами учебного материала, так как медицина является специфической областью образования с повышенными требованиями к уровню профессионализма врачей. Критериями качества работы ААС по контролю знаний приняты: объективность, надежность, валидность и дифференцирующая способность.

Показано, что к основным критериям оценки эффективности работы тестовых систем по проверке знаний, в первую очередь, относят валидность. Разработана методика определения и повышения валидности тестовых задач и процедуры автоматизированной аттестации с учетом специфики последипломного медицинского образования. Методика основана на ряде подходов, связанных с количественным определением качественных компонентов предметной области и массива тестовых задач, качества знаний курсантов с дальнейшим установлением взаимосвязи между этими компонентами.

Определены и теоретически обоснованы критерии валидности - количественные признаки, которые отражают плотность распределения результатов тестовых испытаний в соответствующих экспертных интервалах оценок, а также способность теста дифференцировать курсантов в соответствии с экспертными заключениями. Доказано, что повышение валидности как самих тестовых задач, так и процедуры аттестации, приближает качество автоматизированной проверки уровня знаний курсантов к экспертному уровню. Особое внимание уделено подходам к определению и повышению содержательной валидности.

Разработана, теоретически и практически обоснована методика расчетов дискриминативной валидности тестов, которая основывается на последовательном применении математических алгоритмов (дисперсионный, регрессионный и кластерный анализы) для определения точности распределения тестом опрашиваемых на группы в соответствии с уровнем их знаний. Предложена классификация этого типа валидности (обоснованы и определены линейная, нелинейная, кластерная, полная и неполная ее разновидности). Доказано, что применение тестов с высокой дискриминативностью в неопределенных ситуациях, когда необходимо окончательно отнести курсанта к определенной группе уровня знаний, приближает результаты тестовых испытаний к экспертным оценкам.

Предложена классификация тестовых задач и процедуры аттестации. Разработана методика организации автоматизированной аттестации с учетом алгоритмов индивидуального, личностно-ориентированного подхода, который основывается на возможности аттестационной системы адаптироваться в автоматизированном режиме к индивидуальным способностям курсантов по скорости восприятия информации, а также проводить экзамен с учетом результатов предшествующих аттестаций.

Предложенная методология определения и повышения валидности процедуры автоматизированного контроля знаний позволяет повысить эффективность компьютерной аттестации на 11-13%, а качество работы ААС по проверке знаний - на 16-17%.

Ключевые слова: автоматизированные аттестационные системы, валидность и эффективность процедуры аттестации, экспертные заключения, личностно-ориентированные подходы к аттестации.

ANNOTATION

Krasnov V.V. The efficiency of postgraduate medical training computer-knowledge-monitoring systems application. - the Manuscript.

The Dissertation to claim the candidate of pedagogical sciences scientific degree on the speciality 13.00.04 - professional education theory and technique.- Institute of higher education of the Academy of pedagogical sciences of Ukraine, Kiev, 2003.

Dissertation is devoted to a vital topic - mining of a definition technique and increasing of an efficiency of the automated certifying systems (ACS) in postgraduate medical training. The efficiency of АCS is reviewed as a ratio between quality of АCS operation on checking up of knowledge of doctors and pharmaceutists and means which are loiter on this process pursuant to the resulting-spending concept. As the ACS performance criterions during knowledge control the objectivity, reliability, validity and differentiative ability are adopted. Among listed criterions the validity of the contents is one of the main specifications. On the basis of the researches carried out in the dissertation the technique of definition and increase validity test questions and procedures of the automated certification is developed. The technique of discriminative validity calculations of the test problems is theoretically and practically justified and its classification is offered. Classification of test questions and procedures of testing which can be used in postgraduate medical training is carried out. Techniques of processing of mark expert's estimations of knowledge in groups of interviewee are created, in view of a coordination of reasoning of experts and their competence. The procedure of organization of the automated certification on algorithms personal-oriented approach is offered. Proposed methodology of definition and increasing of a validity of a procedure of an automatic test of knowledge allows to increase efficiency of computer certification on 11-13 %, and quality of АCS operation on checking up knowledge - on 25-30 %.

Key words: automated certifying systems, validity tests, procedures validity of certification, expert conclusions, personal-oriented approach to certification.

Размещено на Allbest.ru