Методы прогнозирования

Размещено на http://www.allbest.ru/

Оглавление

Введение

Методы прогнозирования, их классификация

Методы экспертных оценок, область применения

Методы моделирования

Заключение

Список литературы

Введение

Процесс прогнозирования достаточно актуален в настоящее время. Широка сфера его применения. Прогнозирование широко используется в экономике, а именно в управлении. В менеджменте понятие «планирование» и «прогнозирование» тесно переплетены. Они не идентичны и не подменяют друг друга. Планы и прогнозы различаются между собой временными границами, степенью детализации содержащихся в них показателей, степенью точности и вероятности их достижения, адресностью и, наконец, правовой основой. Прогнозы, как правило, носят индикативный характер, а планы обладают силой директивного характера. Не подмена и противопоставление плана и прогноза, а их правильное сочетание - таков путь планомерного регулирования экономики в условиях рыночной экономики и перехода к ней.

В промышленности методы прогнозирования также играют первостепенную роль. Используя экстраполяцию и тенденцию, можно делать предварительные выводы относительно разных процессов, явлений, реакций, операций.

Определённую нишу прогнозирование занимает и в военных дисциплинах. Используя методы прогнозирования, можно определить (оценить) радиоактивную обстановку местности и т.д.

Существует много методов прогнозирования. Продифференцировав их общее число, необходимо выбрать оптимальный из них для использования в каждой конкретной ситуации.

Анализ методов прогнозирования, изучение этих методов, использование их в разных сферах деятельности является мероприятием рационализаторского характера. Степень достоверности прогнозов можно затем сравнить с действительно реальными показателями, и, сделав выводы, приступить к следующему прогнозу уже с существующими данными, т.е. имеющейся тенденцией. Опираясь на полученные данные, можно во временном аспекте переходить на более высокую ступень.

Актуальность темы обусловлена тем, что очень важно на современном этапе учесть все факторы и уменьшить риск инновационного проекта. Для этого применяются всевозможные методы прогнозирования.

Цель настоящей работы - дать характеристику методов прогнозирования, рассмотреть их классификацию, область применения.

Для достижения данной цели были поставлены следующие задачи:

1. Изучить основные методы прогнозирования.

2. Раскрыть классификация методов прогнозирования и область их применения.

Методы прогнозирования, их классификация

Прежде всего, приведем определение метода прогнозирования как способа теоретического и практического действия, направленного на разработку прогнозов. Это определение является достаточно общим и позволяет понимать термин «метод прогнозирования» весьма широко: от простейших экстраполяционных расчетов до сложных процедур многошаговых экспертных опросов.

В настоящее время наряду со значительным числом опубликованных методов прогнозирования известны многочисленные способы их классификации. Тем не менее, считать этот вопрос удовлетворительно решенным нельзя, так как единой, полезной и полной классификации сейчас еще не создано. Вероятно, прогностика, как молодая наука, еще не достигла такого уровня развития, когда возможно создание классификации, удовлетворяющей всем этим требованиям. Итак, каковы же цели классификации методов прогностики? Можно указать две такие основные цели. Это, во-первых, обеспечение процесса изучения и анализа методов и, во-вторых, обслуживание процесса выбора метода при разработке прогнозов объекта. На современном этапе трудно предложить единую классификацию, в равной степени удовлетворяющую обеим из указанных целей.

Существуют два основных типа классификации: последовательная и параллельная. Последовательная классификация предполагает вычленение частных объемов из более общих. Это процесс, тождественный делению родового понятия на видовые. При этом должны соблюдаться следующие основные правила: 1) основание деления (признак) должно оставаться одним и тем же при образовании любого видового понятия; 2) объемы видовых понятий должны исключать друг друга (требование отсутствия пересечения классов); 3) объемы видовых понятий должны исчерпывать объем родового понятия (требование полного охвата всех объектов классификации).

Параллельная классификация предполагает сложное информационное основание, состоящее не из одного, а из целого ряда признаков. Основной принцип такой классификации - независимость выбранных признаков, каждый из которых существен, все вместе одновременно присущи предмету и только их совокупность дает исчерпывающее представление о каждом классе.

Последовательная классификация имеет наглядную интерпретацию в виде некоторого генеалогического дерева, охватывает всю рассматриваемую область в целом и определяет место и взаимосвязи каждого класса в общей системе. Поэтому она является более приемлемой для целей изучения, позволяет методически более стройно представлять классифицируемую область знаний.

Каждый уровень классификации характеризуется своим классификационным признаком. Элементы каждого уровня представляют собой наименования принадлежащих им подмножеств элементов ближайшего нижнего уровня, причем подмножеств непересекающихся.

Элементы нижнего уровня представляют собой наименование узких групп конкретных методов прогнозирования (иногда из одного элемента), которые являются модификациями или разновидностями какого-либо одного, наиболее общего из них.

В целом классификация является открытой, так как предоставляет возможность увеличивать число элементов на уровнях и наращивать число уровней за счет дальнейшего дробления и уточнения элементов последнего уровня. На первом уровне все методы делятся на три класса по признаку «информационное основание метода»:

1. Фактографические методы базируются на фактически имеющемся информационном материале об объекте прогнозирования и его прошлом развитии.

2. Экспертные методы базируются на информации, которую поставляют специалисты-эксперты в процессе систематизированных процедур выявления и обобщения этого мнения.

3. Комбинированные методы выделены в отдельный класс, чтобы можно было относить к нему методы со смешанной информационной основой, в которых в качестве первичной информации используются фактографическая и экспертная. Например, при проведении экспертного опроса участникам представляют цифровую информацию об объекте или фактографические прогнозы, либо, наоборот, при экстраполяции тенденции наряду с фактическими данными используют экспертные оценки.

Не следует относить к комбинированным методам те методы прогнозирования, которые к экспертной исходной информации применяют математические методы обработки или исходную фактографическую информацию оценивают экспертным путем. В большинстве случаев они достаточно хорошо укладываются в первый или второй из перечисленных выше классов. Эти классы разделяются далее на подклассы по принципам обработки информации. Статистические методы объединяют совокупность методов обработки количественной информации об объекте прогнозирования по принципу выявления содержащихся в ней математических закономерностей развития и математических взаимосвязей характеристик с целью получения прогнозных моделей. Методы аналогий направлены на то, чтобы выявлять сходство в закономерностях развития различных процессов и на этом основании производить прогнозы. Опережающие методы прогнозирования строятся на определенных принципах специальной обработки научно-технической информации, реализующих в прогнозе ее свойство опережать развитие научно-технического прогресса.

Экспертные методы разделяются на два подкласса. Прямые экспертные оценки строятся по принципу получения и обработки независимого обобщенного мнения коллектива экспертов (или одного из них) при отсутствии воздействий на мнение каждого эксперта мнения другого эксперта и мнения коллектива. Экспертные оценки с обратной связью в том или ином виде воплощают принцип обратной связи путем воздействия на оценку экспертной группы (одного эксперта) мнением, полученным ранее от этой группы или от одного из ее экспертов. Третий уровень классификации разделяет методы прогнозирования на виды по классификационному признаку «аппарат методов». Каждый вид объединяет в своем составе методы, имеющие в качестве основы одинаковый аппарат их реализации. Так, статистические методы по видам делятся на методы экстраполяции и интерполяции; методы, использующие аппарат регрессионного и корреляционного анализа; методы, использующие факторный анализ. Класс методов аналогий подразделяется на методы математических и исторических аналогий. Первые в качестве аналога для объекта прогнозирования используют объекты другой физической природы, другой области науки, отрасли техники, однако имеющие математическое описание процесса развития, совпадающее с объектом прогнозирования. Вторые в качестве аналога используют процессы одинаковой физической природы, опережающие во времени развитие объекта прогнозирования.

Опережающие методы прогнозирования можно разделить на методы исследования динамики научно-технической информации; методы исследования и оценки уровня техники. В первом случае в основном используется построение количественно-качественных динамических рядов на базе различных видов НТИ и анализа и прогнозирования на их основе соответствующего объекта. Второй вид методов использует специальный аппарат анализа количественной и качественной информации, содержащейся в НТИ, для определения характеристик уровня, качества существующей и проектируемой техники.

Прямые экспертные оценки по признаку аппарата реализации делятся на виды экспертного опроса и экспертного анализа. В первом случае используются специальные процедуры формирования вопросов, организации получения на них ответов, обработки полученных ответов и формирования окончательного результата. Во втором - основным аппаратом исследования является целенаправленный анализ объекта прогнозирования со стороны эксперта или коллектива экспертов, которые сами ставят и решают вопросы, ведущие к поставленной цели.

Экспертные оценки с обратной связью в своём аппарате имеют три вида методов: экспертный опрос; генерацию идей; игровое моделирование. Первый вид характеризуется процедурами регламентированного неконтактного опроса экспертов перемежающимися обратными связями в рассмотренном выше смысле. Второй - построен на процедурах непосредственного общения экспертов в процессе обмена мнениями по поставленной проблеме. Он характеризуется отсутствием вопросов и ответов и направлен на взаимное стимулирование творческой деятельности экспертов. Третий вид использует аппарат теории игр и ее прикладных разделов. Как правило, реализуется на сочетании динамического взаимодействия коллективов экспертов и вычислительной машины, имитирующих объект прогнозирования в возможных будущих ситуациях.

Наконец, последний, четвертый, уровень классификации подразделяет виды методов третьего уровня на отдельные методы и группы методов по некоторым локальным для каждого вида совокупностям классификационных признаков, из которых указать один общий для всего уровня в целом невозможно. Из методов прогнозирования наибольшее распространение получили методы экстраполяции, экспертных оценок и моделирования. В прогнозах развития техники, то есть инноваций, чаще используются методы экспертных оценок и моделирования.

Методы экспертных оценок, область применения

Методы экспертных оценок в прогнозировании и перспективном планировании научно-технического прогресса применяются в следующих случаях:

а) в условиях отсутствия достаточно представительной и достоверной статистики характеристики объекта (например, лазеры, голографические запоминающие устройства, рациональное использование водных ресурсов на предприятиях);

б) в условиях большой неопределенности среды функционирования объекта (например, прогнозов человеко-машинной системы в космосе или учет взаимовлияния областей науки и техники);

в) при средне- и долгосрочном прогнозировании объектов новых отраслей промышленности, подверженных сильному влиянию новых открытий в фундаментальных науках (например, микробиологическая промышленность, квантовая электроника, атомное машиностроение);

г) в условиях дефицита времени или экстремальных ситуациях.

Экспертная оценка необходима, когда нет надлежащей теоретической основы развития объекта. Степень достоверности экспертизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими событиями. Существует две категории экспертов - это узкие специалисты и специалисты широкого профиля, обеспечивающие формулирование крупных проблем и построение моделей. Выбор экспертов для прогноза производится на основе их репутации среди определенной категории специалистов. Однако не следует забывать и того обстоятельства, что первоклассный специалист не всегда может достаточно квалифицированно рассмотреть и понять общие, глобальные, вопросы. Для этой цели нужно привлекать экспертов хотя и недостаточно узко информированных, но обладающих способностью к дерзанию и воображению.

«Эксперт» в дословном переводе с латинского языка означает «опытный». Поэтому и в формализованном, и в неформализованном способах определения эксперта значительное место занимают профессиональный опыт и развитая на его основе интуиция. Условия необходимости и достаточности отнесения специалиста к категории экспертов вводятся следующим образом.

Важно установить не абсолютную степень надежности экспертной оценки, а степень надежности по сравнению с оценкой среднего специалиста, а также корреляцию между вероятностью его прогнозной оценки и надежностью класса тех гипотез, которыми оперирует эксперт.

Характеризуя экспертов, следует иметь в виду, что в результате выработки оценок могут иметь место ошибки двух видов. Ошибки первого вида известны в технике измерений как систематические, ошибки второго вида - как случайные. Эксперт, склонный к ошибкам первого вида, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения. Полагают, что ошибки этого вида связаны со складом ума экспертов. Для коррекции систематических ошибок можно применять поправочные коэффициенты или же использовать специально разработанные тренировочные игры. Ошибки второго вида характеризуются величиной дисперсии. Исходя из анализа основных видов ошибок при вынесении экспертных суждений, можно добавить к рассмотренному ранее перечню требований к экспертам еще одно. Смысл его состоит в том, что следует предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. К сожалению, априори определить способность человека делать правильные экспертные оценки невозможно. Важным средством подготовки экспертов являются специальные тренировочные игры.

Организация форм работы эксперта может быть программированной или не программированной, а деятельность эксперта может осуществляться в устной (интервью) либо в письменной форме (ответ на вопросы специальных таблиц экспертных оценок или свободное изложение по заданной теме).

Программирование формы работы эксперта предполагает:

построение граф-модели объекта на базе ретроспективного анализа; определение структуры таблиц экспертных оценок (ТЭО) или программы интервью на базе граф-модели объекта и целей экспертизы; определение типа и формы вопросов в ТЭО или в интервью;

определение типа шкалы для вопросов в ТЭО; учет психологических особенностей экспертизы при определении последовательности вопросов в ТЭО; учет верифицирующих вопросов; разработка логических приемов для последующего синтеза прогнозных оценок в комплексных прогнозах объекта.

Организация стимуляции работы эксперта состоит в разработке:

эвристических приемов и способов, облегчающих поиск прогнозной экспертной оценки; правовых норм, гарантирующих эксперту оформление приоритета и авторства, а также неразглашения всех научно-технических идей, выдвигаемых им в процессе экспертизы;

форм моральной, профессиональной и материальной заинтересованности эксперта в экспертных оценках; организационных форм работы эксперта (включение в план работы и т. п.).

Исходя из полученной в результате анализа модели объекта прогнозирования, определяются научные и технические направления, по которым необходимо привлечь эксперта, выделяются группы экспертов по принадлежности вопроса к области фундаментальных, прикладных наук или к стыковым научным направлениям.

Основная задача, стоящая перед специалистами по анализу и проектированию больших систем, в общем случае, как правило, заключается в нахождении наиболее оптимальных способов создания более эффективных систем - либо вновь проектируемых, либо модернизируемых. Сложность решения этой задачи состоит, прежде всего, в том, что здесь обычно нет возможности найти решение чисто математическими методами, поскольку, как правило, не удается точно определить величины (функционалы), подлежащие оптимизации в математическом смысле. Аналогичная ситуация возникает и при оценке последствий предполагаемого способа достижения поставленной цели. Укажем для примера, что эти последствия могут одновременно носить экономический, политический, социальный или какой-либо другой характер.

В этих условиях решение системной задачи находится посредством эвристических приемов, использующих весьма сложный математический аппарат, и заключается в выдаче обоснованных рекомендаций, достаточных для выработки решения.

Методом эвристического прогнозирования называется метод получения и специализированной обработки прогнозных оценок объекта путем систематизированного опроса высококвалифицированных специалистов (экспертов) в узкой области науки, техники или производства. Прогнозные экспертные оценки отражают индивидуальное суждение специалиста относительно перспектив развития его области и основаны на мобилизации профессионального опыта и интуиции.

Метод эвристического прогнозирования сходен с дельфийской техникой, коллективной генерацией идей и методом коллективной экспертной оценки в том смысле, что одним из элементов его является сбор и обработка суждений экспертов, высказанных на основе профессионального опыта и интуиции. Однако он отличается от указанных методов большей четкостью теоретических основ, способами формирования анкет и таблиц, порядком работы с экспертами и алгоритмом обработки полученной информации. Эвристическим данный метод назван в связи с однородностью форм мыслительной деятельности эксперта при решении научной проблемы и при оценке перспектив развития объекта прогнозирования, а также в связи с использованием экспертами специфических приемов, приводящих к правдоподобным умозаключениям.

Назначение метода эвристического прогнозирования - выявление объективизированного представления о перспективах развития узкой области науки и техники на основе систематизированной обработки прогнозных оценок репрезентативной группы экспертов.

Область применения МЭП - научно-технические объекты и проблемы, развитие которых либо полностью, либо частично не поддается формализации, т. е. для которых трудно разрабатывать адекватную модель.

В основе метода лежат три теоретических допущения: 1) существования у эксперта психологической установки на будущее, сформулированной на основе профессионального опыта и интуиции, и возможности ее экстериоризации; 2) тождественности процесса эвристического прогнозирования и процесса решения научной проблемы с однотипностью получаемого знания в форме эвристических правдоподобных умозаключений, требующих верификации; 3) возможности адекватного отображения тенденции развития объекта прогнозирования в виде системы прогнозных моделей, синтезируемых из прогнозных экспертных оценок.

Эти допущения реализуются в методе эвристического прогнозирования путем системы приемов работы с экспертами, способами оценок и синтеза прогнозных моделей.

В качестве исходных документов при работе по методу эвристического прогнозирования выступают: описание метода; инструкции по формулированию вопросов; инструкции по составлению анкет и таблиц экспертных оценок; порядок работы с экспертами; набор эвристических приемов для экспертов; инструкция для экспертов по заполнению анкет и таблиц; инструкция по обработке на ЭВМ экспертных анкет и таблиц; алгоритмы и программы для обработки данных на ЭВМ; заполненные экспертами анкеты и таблицы; инструкция по оценке компетентности экспертов; инструкция по синтезу прогнозных моделей; набор способов верификации прогнозов.

Формирование анкет и таблиц экспертных оценок. Информационным массивом для разработки прогнозов методом эвристического прогнозирования является набор заполненных экспертами таблиц и анкет. Таблицы содержат перечень строго сформулированных вопросов. К вопросам в анкетах предъявляются следующие требования: 1) они должны быть сформулированы в общепринятых терминах; 2) формулировка их должна исключать всякую смысловую неоднозначность; 3) все вопросы должны логически соответствовать структуре объекта прогноза; 4) они должны быть отнесены к одному из трех перечисленных ниже видов. В зависимости от вида вопроса применяется определенная процедура его формулирования и составления анкет.

К первому виду относятся вопросы, ответы на которые содержат количественную оценку: вопросы относительно времени свершения событий; опросы относительно количественного значения прогнозируемого параметра; вопросы относительно вероятности осуществления события ; вопросы по оценке относительного влияния факторов друг на друга в некоторой шкале . Для данного типа вопроса применяется самая простая процедура составления анкет. В этом случае сам прогнозист, знающий объект прогноза, формулирует перечень значений оцениваемых параметров, вероятностей и временных отрезков. При определении шкалы значений количественных параметров (время, характеристика и пр.) целесообразно пользоваться неравномерной шкалой. Конкретное значение неравномерности определяется характером зависимости ошибки прогноза от времени упреждения.

Ко второму виду относятся содержательные вопросы, требующие свернутого ответа не в количественной форме. Вопросы, требующие ответа в свернутой форме, могут быть трех типов: дизъюнктивные; конъюнктивные; импликативные.

Вопросы, требующие содержательного ответа в свернутой форме, характеризуются наиболее сложной процедурой их формирования в анкету. Анкета в окончательном виде получается в результате трехэтапной итерации. На первом этапе прогнозист тщательно изучает результат работы (доклад) группы экспертов (метод комиссий) над определенной системой. Итогом изучения является формулировка первого варианта вопросника, который на втором этапе рассылается председателям соответствующих комиссий для корректировки и уточнения. В результате получается второй вариант вопросника. На третьем этапе вопросы группируются по темам и в определенном порядке внутри тем. Окончательный вариант вопросника приобретает форму таблиц экспертных оценок.

К третьему виду относятся вопросы, требующие ответа в развернутой форме, которые, в свою очередь, делятся на два типа:

1) вопросы с формой ответа в виде перечня сведений о предмете;

2) вопросы с формой ответа в виде перечня аргументов, подтверждающих или отвергающих тезис, содержащийся в вопросе.

Вопросы, требующие содержательного ответа в развернутой форме, определяются путем двухэтапной итерации. Первый этап - прогнозист обращается к экспертам с просьбой сформулировать наиболее перспективные и наименее разработанные проблемы. На втором этапе из всех названных проблем выбираются лишь имеющие непосредственное отношение к объекту прогноза и принципиально разрешимые.

После того как все вопросы уточнены и сведены по тематическим признакам в соответствующие разделы анкет или таблиц, переходят к работе с экспертами, анализу и обработке экспертных оценок.

Методы моделирования

Применяется большое количество методов на основе моделирования. Различаются логические, информационные и математико-статистические модели.

К методам моделирования относится прогноз, основанный на изучении внутренней логики логических моделей развития исследуемого явления, на анализе исторической преемственности развития науки и техники и сценариев будущего (логический анализ иерархии целей, описание реальных вариантов их достижения и оценка ресурсов).

Информационные модели основаны на анализе количественных и структурных изменений в потоке научных публикаций и патентов. Выявляются сгустки важнейших работ, прогнозируются не только темпы, но и направления работ в данной области.

Математические модели основаны на методах математического программирования, теории игр и массового обслуживания, регрессионного и корреляционного анализа и т.д. К достоинствам математических моделей относятся четкое изложение параметров, возможность быстрого проведения расчетов, к недостаткам - невозможность учета ряда факторов, особенно экологических, отсутствие реального учета перехода количественных изменений в качественные, трудность в описании всех параметров.

В настоящее время среди достаточно широкого круга специалистов сложилось мнение об универсальности и всемогуществе моделирования. Поэтому очень часто при управлении компаниями и экономико-производственными системами (ЭПС) прибегают к моделированию, используя его в качестве инструмента в планировании. Однако, как указывают многочисленные источники, в практическом управлении компаниями к моделированию как к оптимизационному методу управления следует подходить более осторожно.

Причиной осторожного подхода в практике моделирования является известное несоответствие между объектом и его моделью: модель всего лишь упрощенное представление действительности. Модель - есть теоретическое построение, имеющее некоторое отношение к реальности, которое можно независимо обсуждать и анализировать.

При построении математической модели неизбежно приходится вводить различные допущения и ограничения и из всего количества параметров объекта выбирают лишь некоторые, по мнению разработчиков, наиболее важные, так как: во-первых, невозможно полностью выявить все параметры объекта, во вторых, если в модели учитывать всё их большое число, то она станет очень громоздкой и технически трудно реализуемой, а за большим количеством данных потеряется содержание моделирования. При сопоставлении объекта и модели встает вопрос о том, насколько точно она описывает объект. Очевидно, что для одного и того же объекта в зависимости от поставленных задач и количества учитываемых параметров можно предложить много моделей, каждая из которых описывает объект с определенной точностью (большей или меньшей адекватностью) и использует тот или иной математический аппарат. Очевидно, что используемые либо разрабатываемые модели не тождественны реальным объектам и происходящим процессам, исследование моделей и ее свойств не есть исследование реального объекта. Так как нельзя построить абсолютно адекватную модель (реализовать ее), то встает вопрос об оптимально допустимой ее адекватности, которая позволит при данных условиях на данном временном промежутке пренебречь изменениями объекта.

Заключение

прогнозирование метод эксперт планирование

Прогнозирование представляет собой предплановую стадию работы.

Прогнозы различаются по времени действия и по масштабу действия. По времени действия принято различать краткосрочные (до года), среднесрочные (до пяти лет) прогнозы. По масштабу действия прогнозы делятся на глобальные, региональные, государственные и по видам техники. Проблемы глобальных, региональных и государственных прогнозов на соответствующие периоды времени выступают объектом научно-исследовательских институтов.

Прогнозирование инноваций представляет собой сложный противоречивый процесс с большой долей риска. Это объясняется необходимостью учета следующих факторов:

изменение спроса на прогнозируемую продукцию;

изменение цен на данную продукцию и, соответственно, прибыли;

объем собственных издержек на прогнозируемую продукцию;

действия конкурентов, особенно в части создания и внедрения инноваций;

перспективы развития данных инноваций.

Прогнозирование развития наукоемкого производства требует поддержки соответствующими методами и подходами. В практической деятельности используются такие традиционные методы как экстраполяция, балансовый, нормативный, аналитический, программно-целевой методы. Кроме них при планировании применяют методы моделирования и сетевого планирования. Перечисленные методы используются, как правило, одновременно. Указывается, что наиболее эффективно в плановой практике является сочетание аналитического, балансового и нормативного методов, а также программно-целевого подхода с методами экономико-математического и информационного моделирования.

Список литературы

1. Басовский Л.Е. Прогнозирование и планирование в условиях рынка, ИНФРА-М, Москва, 2008.

2. Ефремов В.С. Организации, бизнес-системы и стратегическое планирование, Москва, 2001

3. Смирнов С.И., Шарипова О.Э. Новый техногенно-психологический подход к стратегическому управлению, Москва, 2006.

4. Стратегический менеджмент / Под ред. А.Н. Петрова. - СПб.: Питер, 2005.

5. Смирнова О.О. Стратегическое государственное планирование в России - Учеб. пособие. - Москва: Издательство МНЭПУ, 2010.

Размещено на Allbest.ru