Экономико-математическая модель в экспертной системе оценки качества государственных закупок на основе нечёткой логики

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Экономико-математическая модель в экспертной системе оценки качества государственных закупок на основе нечёткой логики

Белокрылова Ольга Спиридоновна, Стрельцова Елена Дмитриевна

Белокрылова Ольга Спиридоновна, Заслуженный деятель науки РФ, доктор экономических наук, профессор кафедры экономической теории экономического факультета, Южный федеральный университет (344006, Россия, г. Ростов-на-Дону, ул. Б. Садовая, 105/42).

Стрельцова Елена Дмитриевна, доктор экономических наук, профессор кафедры «Программное обеспечение вычислительной техники», Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова (346428, Россия, г. Новочеркасск, ул. Просвещения, 132).

Аннотация

В статье обоснована необходимость разработки моделей и базирующихся на них систем эффективного использования бюджетных средств. В решении этой проблемы ключевую роль играют проблемы организации и оценки качества государственных закупок. Поэтому нами проведён обзор существующих подходов, моделей и различных организационных предложений для решения этих проблем. В статье предложено создание экспертной системы оценки качества государственных закупок. Смоделирована структура экспертной системы, включающая блок базы знаний и её интеллектуального редактора, позволяющего обновлять и добавлять новые знания. Конкретизирована задача создания экономико-математического инструментария оценивания качества товаров и услуг, приобретаемых бюджетными организациями общественного сектора. Выбраны характеристики, оцениваемые экспертами при решении поставленной задачи, и пределы их изменений. Создана логико-лингвистическая модель, позволяющая производить обработку качественно выраженных характеристик государственных закупок. При построении модели использован математический аппарат нечёткой логики. Формально описаны в виде нечётких множеств качественно выраженные входные и выходные характеристики, используемые при оценке качества государственных закупок. Приведены функции принадлежности, выражающие семантику нечётких множеств. Предложенная нечёткая экспертная система использует знания специалистов-экспертов в виде продукционных правил, позволяющих получить нечётко выраженные заключения на основе нечётких предпосылок. Экспертная система спроектирована на основе применения алгоритма нечёткого вывода Mamdani в пакете Fuzzy Logic Toolbox вычислительной среды MATLAB. На построенной логико-лингвистической модели проведены эксперименты, демонстрирующие зависимость изменения интегрального показателя качества государственных закупок от вариаций их входных характеристик. Предложенная экспертная система с встроенной в неё логико-лингвистической моделью позволяет принимать научно и количественно обоснованные решения при оценке качества товаров и услуг, приобретаемых бюджетными организациями.

Ключевые слова: государственные закупки, экспертная система, оценка качества, логико-лингвистическая модель, нечёткая логика, бюджетные организации, бюджетные средства, общественный сектор, экономико-математическая модель.

ECONOMIC-MATHEMATICAL MODEL IN THE EXPERT SYSTEM OF QUALITY ASSESSMENT OF PUBLIC PROCUREMENT BASED ON FUZZY LOGIC

Abstract

At present, there is a need to develop models and systems based on them for the effective use of budgetary funds. In solving this problem, the key role played by the organization and evaluation of the quality of public procurement. The article provides an overview of existing approaches, models and various organizational proposals to solve this problem. This article is devoted to the creation of an expert system for assessing the quality of public procurement. The structure of the expert system including the block of knowledge base and its intellectual editor allowing to update and add new knowledge is offered. The task of creating economic and mathematical tools for assessing the quality of goods and services purchased by budget organizations. The characteristics evaluated by experts in solving the problem and the limits of their changes are selected. A logical-linguistic model has been created, which allows processing the qualitative characteristics of public procurement. The mathematical apparatus of fuzzy logic was used in the construction of the model. Formally described in the form of fuzzy sets qualitatively expressed input and output characteristics used in assessing the quality of public procurement. Membership functions expressing the semantics of fuzzy sets are given. The proposed fuzzy expert system uses the knowledge of experts in the form of production rules, allowing to obtain fuzzy conclusions based on fuzzy assumptions. The expert system is designed on the basis of application of Mamdanifuzzy inference algorithm in Fuzzy Logic Toolbox package of MATLAB computing environment. On the basis of the constructed logical-linguistic model, experiments were carried out to demonstrate the dependence of changes in the integral indicator of the quality of public procurement on the variations of their input characteristics. The proposed expert system with a built-in logical and linguistic model allows to make scientifically and quantitatively sound decisions in assessing the quality of goods and services purchased by budget organizations. Keywords: public procurement, expert system, quality assessment, logical and linguistic model, impractical logic, budgetary organizations, budgetary funds, public sector, economic and mathematical model.

Введение

В структуре современной экономики общественного сектора государственные закупки для производственных нужд его субъектов являются наиболее масштабной составляющей в связи с выполнением функции обеспечения потребностей общества, выступающей одновременно эффективным инструментом государственного регулирования экономики, прежде всего, ее частного сектора. Все процессы, происходящие в рамках госзакупок, осуществляются на основе главного принципа - эффективности использования бюджетных средств, заключающегося в осуществлении закупок товаров, работ, услуг повышенного качества при минимуме затрат. При этом преследуются противоречивые цели:

- обеспечение полного и своевременного удовлетворения потребности бюджетных организаций в товарах и услугах;

- обеспечение эффективности закупок посредством максимальной экономии бюджетных средств;

- стимулирование использования инновационной и высокотехнологичной продукции в работе бюджетных учреждений;

- реализация новой промышленной политики, целеориентированной на реиндустриализацию экономики России [1, с. 138 - 146].

Наличие противоречивых целей, одни из которых необходимо обратить в максимум (качество], а другие - в минимум (затраты (цена контракта]] создаёт сложности при формировании целевой функции и применении методов экономико-математического моделирования.

Положениями Федерального закона от 5.04. 2013 № 44-ФЗ (в ред. от 27.06.2019 N 152-ФЗ) «О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд» предусмотрено проведение экспертизы на основе привлечения экспертов и экспертных организаций (статья 41]. Согласно общему подходу, в процессе экспертного оценивания альтернатив ключевым вопросом является обработка его результатов, от которой во многом зависит качество конечных результатов. Это актуализирует проблему применения вычислительной системы, которая оперирует знаниями специалистов-экспертов в заданной предметной области, способна к обучению и накоплению новых знаний и обладает способностью принятия решений на уровне этих специалистов.

Поскольку проблема оценки качества государственных закупок является многофакторной, то её решение требует применения экономико-математических методов и моделей. Построение экономико-математической модели, позволяющей в условиях взаимодействия многих факторов осуществлять оценку качества государственных закупок, как интегрального показателя, потребовала разработки системы влияющих на этот показатель характеристик. В настоящее время наблюдается повышенный интерес к исследованиям, посвящённым разработке инструментария оценки экономической эффективности государственных закупок, причем, зачастую "эффективность понимается с точки зрения практики, направленной на максимальное соотношение цены и качества" [15, р. 2]. Так, Патласовым О.Ю. и Самариным А.М. проведена оценка финансового состояния участников тендеров, т.е. конечной эффективности их участия в процессе удовлетворения потребностей субъектов общественного сектора [8, с. 135 - 144], на основании результатов которой авторами построено уравнение линейной регрессии с использованием анализируемых методик. Кроме того, представляет научный интерес построенная исследователями нейросетевая модель с использованием различных видов функций активации.

Исследованию экономической эффективности госзакупок, т.е. соотношению цены контракта и их качества (VfM] посвящены работы многих отечественных и зарубежных ученых [3; 12, р. 149175; 14; 16; 18]. Ряд авторов показали, что на эффективность через цены закупок существенно влияет транспарентность закупочных процедур [9; 10, 11, р. 438]. Следует подчеркнуть, что уровень транспарентности зачастую используется в качестве показателя оценки эффективности и качества закупочных систем, например, Европейским банком реконструкции и развития (European Bank of Reconstruction and Development, EBRD], базового принципа их организации [13], что еще раз подчеркнуто в обновленном (2012 г.] Типовом законе o государственных закупках [17].

Крамин М.В. и его соавторы предлагают использовать инструментарий бенчмаркинга для сравнительной оценки качества закупочных процедур в российских регионах [7; с.96-114]. Вопросы нечёткого моделирования в оценке качества проведении электронных торгов рассматриваются в трудах Гипаева Р.В. [3; с.199-202], Игнатовой Т.В. [4], Белокрыловой О.С., Цыганкова С.С. и др. [5; 9, р. 823-824]. Целостный механизм моделирования процесса проведения тендеров в рамках украинских правовых институций, начиная от постановки задачи и заканчивая принятием окончательного решения, предложен Колпаковой Т.А. [6]. Но проведённые ранее этими и другими авторами исследования не охватывают всего множества возникающих в этой области проблем. Это определило цель и постановку задачи разработки модельного инструментария экспертной системы для оценки качества государственных закупок.

Цель и постановка задачи исследования

Цель проведённого авторами исследования является построение экономико-математической модели, используемой в экспертной системе оценки качества государственных закупок. Многофакторный характер задачи оценки качества госзакупок потребовал разработки комплекса характеристик, влияющих на качество конечного результата. Математическая постановка задачи экспертного оценивания качества товаров и услуг, приобретаемых бюджетными организациями, состоит в реализации отображения

,

где X = {x-1, x2, x3, x4}, показатели, оцениваемые экспертами;

Х - оценка качества закупки. Вектор х представлен следующими компонентами:

X1 - начальная (максимальная) цена контракта;

Х2 - цена заключённого контракта;

Хз - наличие (отсутствие] штрафов (пени);

Х4 - расторжение контракта.

Концептуальная модель экспертной системы, построенной на базе использования адаптированной авторами экономико-математической модели , приведена на рис. 1.

Рис. 1. Концептуальная модель экспертной системы оценки качества закупок

Концептуальная модель оценки качества государственных закупок включает следующие компоненты: интерфейс пользователя; ядро экспертной системы; интеллектуальный редактор базы знаний.

С помощью интерфейса пользователь вводит характеристики государственных закупок, поступающих в ядро экспертной системы. Ядро экспертной системы представляет собой комплекс взаимосвязанных блоков: решатель; база знаний; подсистема пояснений. База знаний представляет собой формально выраженные сведения специалистов-экспертов относительно зависимостей между характеристиками государственных закупок и результирующим показателем качества. Блок «Решатель» функционирует на основе алгоритма, осуществляющего отображение множества оцениваемых экспертами показателей в интегральный показатель качества. Компонента «Подсистема пояснений» визуализирует зависимости

.

Предлагаемая авторами экспертная система обладает свойством обучения за счёт накопления и редактирования базы знаний (блок «Интеллектуальный редактор базы знаний)».

Методы исследования

В соответствии с концептуальной моделью, представленной на рисунке 1, разрабатываемая экспертная система должна оперировать знаниями естественного интеллекта в процессе оценки качества государственных закупок. При этом в реализации отображения

множество

содержит как количественные, так и качественно выраженные показатели. Вследствие этого поиск зависимости осуществлялся в классе логико-лингвистических исследований. При этом показатели формально описаны лингвистическими переменными

,

где: xi - название лингвистической переменной;

- множество атомарных термов, элементы которого описывают вербальные значения лингвистической переменной в виде слов естественного языка «низкий», «средний», «высокий»;

Ui - универсальное множество, на котором заданы значения лингвистической переменной;

- функции принадлежности [0,1], описывающие смысл атомарных лингвистических переменных.

Функции принадлежности [1,0]:ijXUi отражают биективное соответствие между значениями универсума iUu и действительными числами [1,0] jXi. Они определяют семантику нечёткого множества, {HighAverageLowj}. Элементы множества (iXT) представляют собой названия нечётких множеств, характеризу-ющих показатель iX. Качество государственной закупки оценивается интегральным показателем Y, также пред-ставленным лингвистической переменной (iYYUYTY), с множеством атомарных термов, {HighAverageLowYT}, универсальным множеством (YUи) набором 31{jjYY} функций принадлежностей 1,0[:YjYU]. Для оценки качества государственных закупок нами построена логико-лингвистическая модель Quality, программно реализованная в системе MATLAB пакета FuzzyLogic

Рис. 2. Модель Quality оценки качества государственных закупок

Приведём формальное описание лингвистических переменных х1, х2, х3, х4,участвующих в отображении YX:. В результате экспертного опроса определено, что лингвистическая пере-меннаях1, представляющая собой характеристику начальной цены контракта, принимает значения в интервале от 0 до 20 млн. руб. В связи с этим она задана на универсальном множестве в виде отрезка 20,0 [iU]. Характеристика начальной цены контракта «низкая» принята в пределах от 0 до 4 млн. руб., «средняя» ? в пределах от 6 до 10 млн. руб. и «высокая» ? от 11 до 20 млн. руб. В связи с этим соответствующие качественным характеристикам нечёткие множества с названиями High Average Low, описываются трапецеидальными функциями принадлежности) 20,5,0,0 (LowXi,) 20,10,6,0 (Average Xi,) 20,20,11,0 (HighX)

На рис. 3 приведены графики функций принадлежности нечётких множеств

Рис. 3. Графики функций принадлежности нечётких множеств Low, Average, High лингвистической переменной хг

Выраженные в качественном виде характеристики лингвистиче-ской переменной х2, представленной кортежем , также заданы на универсальном множестве c набором семантик трапецеидального вида. Функции описаны аналитическими выражениями, аналогичными выражениям (1), (2) и (3).Значениями лингвистической переменной являются элементы терм-множества, количественно определённые на универсуме . Эти значения задаются в процентах. В соответствии с результатами экспертного опроса показатель Low отвечает количественным значениям из интервала [0, 2], показатель Average-из интервала [3,5], а показатель High-из интервала [6,10]. Формальные выражения функций принадлежности имеют следующий вид:

Интегральный показатель Y качества государственных закупок задаётся на множестве атомарных термов и описывается лингвистической переменной ,. Значения этой переменной представляют собой нечёткие множества с семантикой в виде функций принадлежности) на универсуме . Интегральный показатель качества государственных закупок Y оценивается по десятибалльной шкале. Функции принадлежности составлены на базе результатов экспертного опроса и определены выражениями:

Результаты исследования и их обсуждение

Отображение , реализующее решатель экспертной системы, программно воплощено с помощью системы MATLAB пакета Fuzzy Logic Toolbox. При этом зависимость между качественно выраженными показателями определялась, исходя из знаний специалистов-экспертов по управлению государственными закупками, добытых в результате экспертного опроса, и описана представленными в вербальной форме продукционными правилами. В настоящей статье приведён пример одного правила вывода:

- если показатели Xi и X2 оцениваются характеристиками «высокая», а Хз и X4 - характеристиками «низкая», то интегральный показатель качества государственных закупок Y оценивается показателем «высокий».

Логическое представление продукционных правил в логико-лингвистической модели оценки качества государственных закупок приведено на рис. 4.

На основе применения алгоритма Mamdani, на котором базируется отображение

, в системе MATLAB пакета Fuzzy Logic Toolbox построена экономико-математическая модель, позволяющая при варьировании значениями вектора определять значения интегрального показателя качества государственных закупок Y. На рис. 5 приведён интерфейс построенной логико-лингвистической модели Quality. Рисунок 5 демонстрирует пределы изменения переменных xi є 20], X є [0, 20], хз є [0, 10], х4 є [0, 20], Y є [0, 10]. ш модели Quality проведены эксперименты в результате изменения значений показателей вектора входных характеристик

Рис. 4. Продукционные правила оценки качества государственных закупок

Рис. 5. Результат функционирования логико-лингвистической модели Quality

Значения интегрального показателя качества государственных закупок Y, соответствующие экспериментальным изменениям, занесены в табл. 1, где приведены результаты экспериментов, проведённых на модели Quality (табл. 1).

Таблица 1. Результаты экспериментов на модели Quality

государственный закупка экономический математический

Построенная модель позволяет спланировать эксперимент и определить оптимальные значения показателей качества государственных закупок.

Заключение

Предложенная экспертная система с встроенной в неё логико-лингвистической моделью обеспечивает на основе формализации и использования знаний специалистов по госзакупкам проводить достоверную оценку качества государственных закупок на основе использования качественно выраженных входных характеристик. В результате проведённых исследований авторами получены следующие результаты, обладающие научной новизной.

Предложена структура интеллектуальной экспертной системы, функционирующая на основе формализации и использования знаний специалистов по госзакупкам.

Построена логико-лингвистическая модель на основе математического аппарата нечёткой логики, позволяющая использовать в процессе принятия решений качественно выраженные показатели.

Предложена программная реализация построенной логико-лингвистической модели в системе MATLAB пакета Fuzzy Logic Toolbox.

Литература

1. Белокрылое К.А. Промышленная и закупочная политика государства: проблемы взаимосвязи // Journal of Economic Regulation. 2016. Т. 7. № 4. С. 138 - 146.

2. Белокрылова О.С., Корытцев М.А. Механизмы повышения эффективности государственных расходов. Ростов н/Д.: Изд-во Ростовского ун-та, 2006. 109 с.

3. Гипаев Р.В. Электронные торги и их нечёткое моделирование // Экономика. Бизнес. Информатика. 2017. Т. 3. № 2. С. 199 - 202.

4. Игнатова Т.В., Кармизов А.Е. Институциональные принципы конкурса в системе управления государственной собственностью // Известия КБНЦ РАН. 2015. № 1 (63). С. 141 - 146.

5. Белокрылов К.А., Белокрылова О.С., Стрельцова Е.Д. и др. Качество государственных закупок в условиях цифровизации экономики: концептуальные основания, оценка, механизмы повышения: колл. монография / под. общ. ред. Белокрыловой О.С. Ростов н/Д: Изд-во «Содействие - XXI век», 2018. 163 с.

6. Колпакова Т. А. Моделирование процесса принятия решений при проведении тендеров // Системи обробки інформації. 2014. № 2. С. 228 - 232.

7. Крамин Т. В., Григорьев Р. А., Крамин М. В. К вопросу об оценке экономической эффективности госзакупок в России // Актуальные проблемы экономики и права. 2017. № 4. С. 96 - 114.

8. Патласов О.Ю., Самарин А.М. Нейросетевое моделирование оценки финансового состояния участников коммерческих тендеров и госзакупок // Вестник Сибирской государственной автомобильно-дорожной академии. 2014. № 4 (38). С. 135 - 144.

9. Belokrylova O.S., Belokrylov K.A., Streltsova E.D., Tsygankov S.S., Tsygankova E.M. Quality Evaluation of Public Procurement: Fuzzy Logic Methodology // Popkova E.G. (ed.). Growth Poles of the Global Economy: Emergence, Changes and Future Perspectives. Lecture Notes in Networks and Systems. Springer Nature Switzerland AG, 2010. Р. 823-834. [Электронный ресурс]. - Режим доступа: https://doi.org/10.1007/978-3-030-15160-7.

10. Belokrylovа O.S., Belokrylov K.A. Transparency of the governmental procurement for civil society and the factors of their efficiency // Revista Espacios. 2017. Vol. 38. N° 31. [Электронный ресурс]. - Режим доступа: http://www.revistaespacios.com/a17v38n31/17383102.html.

11. Boehm F., Olaya J. Corruption in Public contracting auction: the role of transparency in bidding processes // Annals of Public and Cooperative conomics. 2006. Vol. 77. № 4. Р. 431 - 452.

12. Dimitri N. Best Value for Money in Procurement // Journal of Public Procurement. 2013. № 13 (2). Р. 149 - 175.

13. Guide to Enactment of the UNCITRAL Model Law on Public Procurement. New York: UNITED NATIONS, 2014. 419 р. [Электронный ресурс]. - Режим доступа: https://www.uncitral.org/pdf/english/texts/procurem/ml-procurement-2011/Guide-Enactment-Model-Law-Public-Procurement-e.pdf.

14. Erridge A., Mcllroy J. Public Procurement and Supply Management Strategies // Public Policy and Administration. 2002. № 17 (1). Р. 52 - 71.

15. Flynn A. Measuring procurement performance in Europe // Journal of Public Procurement. 2018. Vol. 18. Issue 1. Р. 2 - 13.

16. Loader K. The Challenge of Competitive Procurement: Value for Money versus Small Business Support // Public Money and Management. 2007. № 27 (5). Р. 307 - 314.

17. Procurement Policies and Rules. London: The European Bank for Reconstruction and Development, 2010. [Электронный ресурс]. - Режим доступа: http://www.ebrd.com/downloads/procurement/ppr10.pdf.

18. ThaiK.V. Public Procurement Re-examined // Journal of Public Procurement. 2001. № 1 (1). Р. 9 - 50.

19. Belokrylova Olga Spiridonovna, Honored Scientist of the Russian Federation, Doctor of Economics, Professor, Southern Federal University (105/42, B. Sadovaya str., Rostov-on-Don, 344006, Russian Federation).

20. Streltsova Elena Dmitrievna, Doctor of Economics, Professor Department of "Computer Software", South-Russian state Polytechnic University (NPI) named after M.I. Platov (132, Prosveshcheniya St., Novocherkassk, 346428, Russian Federation).

References

1. Belokrylov K.A. Promyshlennaya i zakupochnaya politika gosudarstva: problemy vzaimosvyazi // Journal of Economic Regulation. 2016. T. 7. № 4. P. 138 - 146.

2. Belokrylova O.S., Korytcev M.A. Mekhanizmy povysheniya effektivnosti gosudarstvennyh raskhodov. Rostov n/D.: Izd-vo Rostovskogo un-ta, 2006. 109 p.

3. Gipaev R.V. Elektronnye torgi i ih nechyotkoe modelirovanie / / Ekonomika. Biznes. Informatika. 2017. T. 3. № 2. P. 199-202.

4. Ignatova T.V., Karmizov A.E. Institucional'nye principy konkursa v sisteme upravleniya gosudarstvennoj sobstvennost'yu // Izvestiya KBNC RAN. 2015. № 1 (63). P. 141 - 146.

5. Belokrylov K.A., Belokrylova O.S., Strel'cova E.D. i dr. Kachestvo gosudarstvennyh zakupok v usloviyah cifrovizacii ekonomiki: konceptual'nye osnovaniya, ocenka, mekhanizmy povysheniya: koll. monografiya / pod. obshch. red. Belo- krylovoj O.S. Rostov n/D: Izd-vo «Sodejstvie - XXI vek», 2018. 163 p.

6. Kolpakova T. A. Modelirovanie processa prinyatiya reshenij pri provedenii tenderov / / Sistemi obrobki informacii'. 2014. № 2. P. 228 - 232.

7. Kramin T. V., Grigor'ev R. A., Kramin M. V. K voprosu ob ocenke ekonomicheskoj effektivnosti goszakupok v Rossii // Aktual'nye problemy ekonomiki i prava. 2017. № 4. P. 96 - 114.

8. Patlasov O.YU., Samarin A.M. Nejrosetevoe modelirovanie ocenki finansovogo sostoyaniya uchastnikov kommercheskih tenderov i goszakupok / / Vestnik Sibirskoj gosudarstvennoj avtomobil'no-dorozhnoj akademii. 2014. № 4 (38). P. 135-144.

9. Belokrylova O.S., Belokrylov K.A., Streltsova E.D., Tsygankov S.S., Tsygankova E.M. Quality Evaluation of Public Procurement: Fuzzy Logic Methodology // Popkova E.G. (ed.). Growth Poles of the Global Econo-my: Emergence, Changes and Future Perspectives. Lecture Notes in Networks and Systems. Springer Nature Switzerland AG, 2010. R. 823-834. [El- ektronnyj resurs]. - Rezhim dostupa: https://doi.org/10.1007/978-3-030-15160-7.

10. Belokrylova O.S., Belokrylov K.A. Transparency of the governmental procurement for civil society and the factors of their efficiency // Revista Espacios. 2017. Vol. 38. № 31. [Elektronnyj resurs]. - Rezhim dostupa: http://www.revistaespacios.com/a17v38n31/17383102.html.

11. Boehm F., Olaya J. Corruption in Public contracting auction: the role of transparency in bidding process-es // Annals of Public and Cooperative conomics. 2006. Vol. 77. № 4. P. 431 - 452.

12. Dimitri N. Best Value for Money in Procurement // Journal of Public Procurement. 2013. № 13 (2). P. 149 - 175.

13. Guide to Enactment of the UNCITRAL Model Law on Public Procurement. New York: UNITED NATIONS, 2014. 419 r. [Elektronnyj resurs]. - Rezhim dostupa: https://www.uncitral.org/pdf/english/texts/procurem/ml-procurement-2011/Guide-Enactment-Model-Law-Public-Procurement-e.pdf.

14. Erridge A., McIlroy J. Public Procurement and Supply Management Strategies // Public Policy and Ad-ministration. 2002. № 17 (1). P. 52 - 71.

15. Flynn A. Measuring procurement performance in Europe // Journal of Public Procurement. 2018. Vol. 18. Issue 1. P. 2-13.

16. Loader K. The Challenge of Competitive Procurement: Value for Money versus Small Business Support // Public Money and Management. 2007. № 27 (5). P. 307 - 314.

17. Procurement Policies and Rules. London: The European Bank for Reconstruction and Development, 2010. [Elektronnyj resurs]. - Rezhim dostupa: http://www.ebrd.com/downloads/procurement/ppr10.pdf.

18. Thai K.V. Public Procurement Re-examined // Journal of Public Procurement. 2001. № 1 (1). P. 9 - 50.

Размещено на Allbest.ru