Оценка качества научного исследования

Оценка качества научного исследования

Не нарушая общности рассуждений, оценку качества научного знания предлагается провести на основе таких составляющих познавательного аспекта, как гносеология, семантика (интерпретация, содержание) и синтаксис. Семиотический подход означает, что при оценке теоретического знания за существенное принимается либо его синтаксис (форма), либо семантика (содержание). В науке существует немало задач, в которых семиотический подход является существенным, а то и просто единственно возможным. Последнее особенно характерно для оценки формальных теорий, а иногда и для абстрактных содержательных теорий. Возможности оценивания теорий по семиотическим основаниям и аспекты, по которым их можно сравнивать, очень сильно зависят от семиотического типа теорий. Здесь нет необходимости полностью рассматривать семиотическую типологию теорий. Достаточно лишь точно выделить некоторые из этих типов. В первую очередь теории следует подразделить на формальные и содержательные. Формальные теории состоят из предложений, принадлежность которых к данной теории распознается только по их логической форме (вне зависимости от наличия у них семантики или содержания) с помощью формальных правил. Если для распознавания предложений теории их содержание существенно, т.е. без его учета нельзя обойтись, то такую теорию называют содержательной. Общеизвестные научные области знания (физические, биологические, социальные) являются содержательными.

Оценивание теорий по семиотическому основанию может быть многоаспектным. При этом в оценивании научного знания по семиотическим основаниям гносеология, безусловно, важна, но ее применение все же проявляется косвенно. В этом случае гносеология используется только для выявления гносеологических предпосылок, на основе которых решаются затем вопросы о сравнении теорий по семиотическим основаниям. Однако во многих задачах на первый план выступает непосредственно сравнение теорий по гносеологическому аспекту, а именно по степени адекватности отображения действительности. Ясно, что при этом речь идет о содержательных теориях, отображающих одну и ту же область действительности. Необходимость гносеологического анализа объясняется тем, что методология науки изучает методы образования и применения (или введения) абстракций (понятий), формирования суждений и установления их истинностных значений, построения и обоснования теорий, постановки вопросов (проблем), выдвижения и проверки гипотез, методы объяснений, предсказаний. Все эти задачи методология науки не может решать, не опираясь на гносеологию, хотя в явном виде на это обстоятельство редко когда указывается. В этом случае гносеология является инструментом решения методологических проблем. Это необходимо для того, чтобы, во-первых, в практике научного мышления правильно использовать понятия, оценивать суждения и т. п. Во-вторых, это поможет разобраться в тех запутанных, тупиковых (парадоксальных) и даже кризисных ситуациях, причиной которых является, как правило, непреднамеренное и неявное применение в решении методологических проблем метафизической гносеологии [1]. В этом и будет состоять значение гносеологического подхода к решению проблемы оценивания методологического аспекта научного знания. При рассмотрении методологического аспекта теоретического знания необходимо иметь в виду, что оно, являясь сложной развивающейся системой, выполняющей методологические функции, достаточно дифференцированно.

Оценивая знания, воспользуемся основными положениями алгебраического подхода [2], обеспечивающего эффективное решение задач подобного класса. Важным в алгебраическом подходе является понятие полноты, связывающее задачу выбора показателей для оценки качества знания и модели алгоритмов. Полнота некоторой задачи относительно модели означает, что при произвольном наборе показателей в рамках модели может быть построен алгоритм, дающий правильный ответ [3]. Подход предусматривает обогащение исходных эвристических алгоритмов с помощью алгебраических операций и построение комбинированного семейства алгоритмов. Это семейство алгоритмов рассматривается как некоторая алгебра, операции которой обеспечивают гарантированное получение решения. Алгоритм оценивания рассматривался как суперпозиция двух операторов: распознающего, который в качестве ответов формирует элементы, называемые оценками, и решающего правила, определяющего по оценкам окончательные ответы. При этом распознающий оператор «снимает» вопрос о необходимости иметь дело с «неудобными» пространствами исходных описаний и допустимых ответов, обеспечивая возможность вести коррекцию в пространстве оценок.

Ранее было установлено, что оценка качества знаний (сравнение теорий) является наиболее полной, когда она проводится по следующим аспектам: синтаксическому, семантическому (содержательный, интерпретированный) и гносеологическому. При этом сами гносеология, семантика и синтаксис могут рассматриваться в разных аспектах. Поэтому пространство оценок знания, определяющее ценность научно-технической продукции, сформируем базисными осями, в качестве которых выберем показатели методологической ценности (гносеологическая составляющая), научно-теоретической и практической ценности (семантическая составляющая), качество изложения и оформления научно-методического обеспечения (синтаксическая составляющая).

Сущность методологической ценности заключается в оценке методической базы научно-технической продукции. Именно в методической базе осуществляется приложение, реализация разработанных методологических рекомендаций, правил осуществления новой исследовательской деятельности, созданных средств, приемов и понятийных схем этой деятельности. Поэтому методологическая ценность характеризуется степенью новизны (понятийных схем, методов и приемов); сложностью и комплексностью методов исследовательской деятельности; актуальностью применения предложенных (разработанных) методов и приемов.

Новое научное знание - это знание, удовлетворяющее требованиям оригинальности и научности (достоверности, обоснованности и т.п.) и к моменту его создания отсутствующее в списке ранее установленных научных знаний. Научная новизна исследований - это признак, наличие которого дает автору право на использование понятия "впервые" при характеристике полученных им результатов и проведенного исследования в целом. Понятие "впервые" означает в науке факт отсутствия подобных результатов до публикации результатов, полученных автором той или иной научной разработки. Впервые может проводиться исследование на оригинальные темы, которые ранее не исследовались в той или иной отрасли научного знания. В такой ситуации возможны случаи, когда научная новизна абсолютна и не терпит возражений. Такая ситуация имеет место при выполнении исследования впервые в мире или в стране. Относительная - когда тема является новой для отрасли науки или научного направления.

Оценка научной новизны исследования означает выявление первенства автора в определении и исследования той или иной темы исследования. Технология оценки новизны научного исследования предполагает сравнение данной темы исследования и полученных при этом результатов со всем, что было исследовано и известно ранее в той или иной отрасли научного знания, стране и мире до его проведения.

Для оценки научной новизны научного исследования возможно использование некоторых признаков. Так, существенным является наличие теоретических положений, которые впервые сформулированы и содержательно обоснованы, методических рекомендаций, которые внедрены в практику и оказывают существенное влияние на достижение новых социально-экономических результатов. Новыми могут быть только те положения исследования, которые способствуют дальнейшему развитию науки в целом или отдельных ее направлений.

Многие специалисты относят к признакам новизны выявление, анализ и обобщение новых явлений, тенденций, закономерностей современного развития тех или иных отраслей науки и наличие выводов и рекомендаций, обладающих научной ценностью и практической значимостью для различных сфер деятельности.

Автор вправе претендовать на новизну, если его научные разработки содержат формулировки и обоснования понятий, категорий и их отдельных элементов, углубляющих понимание сущности социально-экономических и политических процессов и явлений, законов и закономерностей развития, механизмов взаимодействия, организации производства и общественных отношений; развитие методологии и методов науки.

Не менее значимы при оценке новизны такие признаки, как разработка и обоснование концепции экономического и политического развития общества, его отдельных элементов и организационно-экономических и социальных структур, обоснование новых или совершенствование применяемых методов информационного обеспечения управления производственной и непроизводственной сферой деятельности. Ориентация исследований на разработку и совершенствование методов управления, прогнозирования, планирования, стимулирования, хозяйственного и социального развития общества, что позволяет предлагать новые нестандартные решения и механизмы их эффективного использования. Как правило, новые решения достигаются в ходе разработок методов и моделей оптимизации и развития экономических, технических и социальных явлений и процессов при их детальном анализе, классификации и моделировании.

Важной является работа соискателя по поиску новых путей решения социально-экономических задач и проблем, поиска новых методов исследования в различных сферах деятельности. Элементы новизны должны присутствовать при совершенствовании существующих методов повышения эффективности экономического, технического и социально-политического развития государства. Например, критериями научной новизны исторических исследований может выступать введение в научный оборот новых не использованных ранее научных источников, определение генезиса развития той или иной отрасли научного знания, вскрытие закономерностей и основных путей развития той или иной науки [4].

Практическая значимость результатов научного исследования может определяться характером их использования и степенью внедрения в практику. Признание практической ценности разработок соискателя ученой степени может совпадать с моментом их получения и датой защиты. Для оценки масштабов и вида внедрения результатов исследования могут применяться критерии в зависимости от характера их исследований. С целью оценки практической значимости исследования научных проблем условно подразделяются на три группы: 1) методологические; 2) методические; 3) прикладные.

Первую группу образуют исследования, результатами которых являются новые теоретические принципы, закономерности развития науки, теоретические концепции функционирования той или иной отрасли научного знания. Итогом теоретических исследований может быть совершенствование основных структур и механизмов развития науки и практики. Применительно к отдельным категориям теоретических исследований и для оценки эффективности апробации и внедрения могут использоваться следующие критерии:

- публикация основных результатов исследования в монографиях, учебниках, научных статьях и т.д.;

- наличие авторских свидетельств о внедрении результатов исследования в практику;

- апробация результатов исследования на научно-практических конференциях и симпозиумах;

- использование научных разработок соискателя в учебном процессе высших и средних учебных заведений;

- участие соискателя в разработке государственных и региональных программ развития той или иной отрасли народного хозяйства;

- использование результатов исследования при подготовке проектов новых нормативных и методических документов, законов и постановлений законодательной и исполнительной власти.

Во вторую группу (методические исследования) могут включаться научные исследования, в которых содержатся научно обоснованные и апробированные в результате экспериментальной работы системы методов и средств совершенствования экономического, технического и социального развития государства. К этой группе можно отнести исследования по научному обоснованию новых и развитию действующих систем, методов и средств того или иного вида деятельности. Формы внедрения результатов научных исследований могут быть следующими:

- предложения по совершенствованию и развитию систем социально-экономического, технического, политического, юридического и т.д. регулирования;

- использование методологических разработок в подготовке экономических расчетов и социально-политических обоснований;

- рекомендации по совершенствованию экономического механизма, управления социальными процессами и т.д.;

- нормативные и методические документы, которые утверждены или рекомендованы к использованию министерствами, государственными комитетами, ведомствами, объединениями или другими заинтересованными организациями.

Третья группа - это прикладные исследования, в результате которых обеспечивается научное обоснование путей оптимизации исследования трудовых и материальных ресурсов, оптимального управления производством и т.д. Использование результатов таких исследований может осуществляться в следующей форме:

- научного обоснования вариантов, направлений, способов и т.п. совершенствования условий и эффективности труда, основных производственных и непроизводственных фондов, материальных, топливно-энергетических ресурсов и других факторов социальной и экономической деятельности объединения, ведомства, организации;

- экономического обоснования мероприятий по использованию научно-технических достижений в различных областях науки и практики;

- обоснования предложений по использованию достижений . научных разработок в практической деятельности предприятий и организаций;

- решение отдельных проблемных вопросов при разработке научно-исследовательских тем, выполняемых госбюджетных и хоздоговорных научных работ;

- использования результатов исследования в разработках проектных институтов, проектно-конструкторских и других организаций.

Актуальность применительно к научным работам рассматривается в двух аспектах: в формулировании темы исследования и в отношении результатов, полученных в ходе исследовательской работы. Поэтому выполнение исследований в той части информационной сферы, в которой имеются "белые пятна", повышает актуальность избранной темы. Для соискателя и эксперта важно убеждение о том, что ранее такие работы не выполнялись. Второе условие оценки темы исследования как актуальной заключается в направленности ее на решение первоочередных задач повышения уровня благосостояния экономики, на создание материально-технических и социальных условий для необходимого роста благосостояния народа, на обеспечение обороноспособности государства.

В прошлом одним из признаков актуальности темы исследования была принадлежность ее к плану научно-исследовательской работы организации, в которой работает соискатель, или к государственному плану научно-исследовательской работы. В современных условиях этот признак утратил свою актуальность. Однако в этот период возрастает роль индикативного регулирования и различного рода программ общехозяйственного, социально-культурного, психолого-педагогического, научно-технического, экологического и т.п. назначения. Поэтому вполне обоснованным является признание в качестве признака актуальности исследования принадлежности его к той или иной программе или направленности на решение ее научных задач.

Весьма сложными могут быть соотношения между оценками актуальности темы и результатов исследования. Выполнение научной работы на актуальную тему не является гарантом получения научно достоверных новых результатов. Напротив, вполне возможно получение результатов при проведении исследований на тему, которая не может быть отнесена к числу актуальных, особенно если при этом представлена более совершенная методика, постановка оригинального эксперимента, использование нового, более представительного массива информации. Подобный дуализм требует агрегирования оценок или какого-либо предпочтения. Представляется, что можно было бы ожидать актуальности результатов как более универсальной оценки.

В настоящее время системный характер теоретического знания представляет собой довольно слабо исследованную область [3, 5]. Это относится и к его составу, и к структуре, и к функциям. Поэтому с целью определения понятия научно-теоретической ценности научно-технической продукции необходимо выдвинуть принцип ее оценки. Таким исходным принципом является оценка, во-первых, степени обоснованности научных положений; во-вторых, возможностей концептуальных средств науки, которые характеризуются, в частности, описательными, объяснительными функциями и функциями предвидения. При этом описательный аспект фиксирует те закономерности и связи, которым концептуальные средства науки (например, аппарат математической статистики) обязаны удовлетворять в данной области исследования. Объяснительный аспект научно-технической продукции - это оценка возможности постижения закономерностей функционирования исследуемого объекта с помощью применяемых концептуальных средств науки. Функция предвидения научно-технической продукции осуществляется в формах прогнозирования перспектив развития и применения по назначению объектов исследования и предсказания конкретных особенностей функционирования изучаемого объекта [5].

Следует отметить, что оценка методологической, научно-теоретической ценностей и «качества изложения и оформления научно-технической продукции» возможна только на качественном уровне. Поэтому с целью формализации качественных оценок рассматривались аспекты, связанные с лингвистической неопределенностью. Лингвистическая неопределенность в системах представления знаний задается с помощью лингвистических моделей, основанных на теории лингвистических переменных и теории приближенных рассуждений. Эти теории опираются на понятие нечеткого множества, систему операций над нечеткими множествами и методы построения функций принадлежности [6]. Одним из основных понятий, используемых в лингвистических моделях, является понятие лингвистической переменной. Значениями лингвистических переменных являются не числа, а слова или предложения естественного языка, на котором проводится качественная оценка научно-технической продукции. Например, числовая переменная «обоснованность» принимает дискретные значения между нулем и единицей, целое число является значением переменной. Лингвистическая переменная «обоснованность» принимает значения: высокая степень обоснованности; практически больше обоснований, чем предположений; больше обоснований, чем предположений; не ясно чего больше; обоснований или предположений; больше предположений, чем обоснования; практически больше предположений, чем обоснований; необоснованное предположение. Эти термины - лингвистические значения переменной, множество допустимых значений которых называется термом-множеством.

Таким образом, при создании нечетких моделей одним из этапов является этап построения функций принадлежности нечетких множеств, описывающих семантику базовых значений лингвистических переменных, используемых в модели. Нечеткие модели содержат множество лингвистических переменных, множество базовых значений этих переменных конечно. Для построения функции принадлежности можно воспользоваться методами экспертных оценок (для этих целей чаще всего используется метод парных сравнений). При анализе ситуации эксперт рассуждает в семантическом пространстве. При этом отображение любой ситуации на единичный интервал происходит таким образом, что точка интервала характеризует степень проявления некоторого свойства (0 - соответствует отсутствию свойства, 1 - интересующему нас максимальному проявлению свойства). Таким образом, построение функции принадлежности «снимает» вопрос о необходимости иметь дело с «неудобными» пространствами исходных описаний и допустимых ответов, обеспечив возможность вести коррекцию в пространстве оценок (чаще всего оно представляет собой множество целых или действительных чисел).

В основу процедуры построения такой оценки, как мера важности положено модифицированное понятие теста [7]. При этом тестом Т называется таблица, в которой содержится информация об области исследований, на этой области выделено множество задач r (N, m), решение N-й задачи связано с определением множества признаков {m}. Для задач данного класса оценкой меры важности признака является зависимость определения информационного веса:

где - число элементов теста Т, содержащих признак .

Чем в большее число элементов теста входит признак , тем больше его информационный вес , тем значительнее его роль для задач из выделенной области. Информативность признаков определялась по аналогии с понятием информативной емкости системы по Хартли. Расчет меры информативности проводился по зависимости вида

= log m - log n,

где log m - мерность базиса области исследования;

log n - мерность существования признаков .

Общая схема процесса оценки качества совокупности элементов научно-технической продукции представляет собой сложное аналитическое исследование, для проведения которого требуется должная организация и соблюдение определенной технологической последовательности выполнения отдельных этапов, видов работ и аналитических расчетов. Можно выделить пять основных этапов подготовки и проведения оценки качества:

1) составление программы оценки качества;

2) сбор и проверка достоверности аналитической информации;

3) аналитическая обработка данных;

4) оценка результатов деятельности анализируемого объекта;

5) обобщение результатов оценки.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Петров Ю.А. Теория познания. - М.: Мысль, 1988.

2. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации // Проблемы кибернетики. - М.: Наука, 1978. - Вып. 33. - с. 5 - 68.

3. Налимов В.В. Количественные методы исследования процесса науки // Вопросы философии - 1966. - № 12.

4. Добров Г.М. Наука о науке - Киев: Наукова думка, 1989.

5. Рузавин Г.И. Методология научного исследования. - М.: ЮНИТИ, 1999.

6. Заде Л., Дзоер Г. Теория линейных систем. Метод пространства состояний - М.: Наука, 1970.

7. Чебраков Ю.В. Методы системного анализа в экспериментальных исследованиях. -СПб.: СПб. ГТУ, 2000.