Статистическое несоответствие результатов эксперимента гипотезе о выбранной модели интерпретируется как смещение МНК-оценок относительно латентных, и оно может быть в обе стороны. В связи с этим напрашивается эвристическое правило - метод дважды наименьших квадратов (МДНК).

Для имитации эксперимента с наблюдениями, обработкой результатов наблюдения и тестированием (верификацией) модели вся предыстория произвольным образом разбивается на две несовместные (желательно представительные) выборки (например, по времени поступления данных). Первая интерпретируется как собственно историческая выборка, а вторая - как проверочная (тестовая), относящаяся к настоящему или будущему.

Речь идет о применении обычного МНК к изначально расширенному классу функциональных базисов Ц, а общая задача решается в два этапа. На первом этапе по первой выборке для каждого базиса из класса находится МНК-оценка - оптимальный вектор параметров. На втором этапе эти векторы применяются ко второй выборке, и для каждого из них рассчитывается остаточная сумма квадратов. Оптимальным принимается базис (вместе с соответствующим этому базису вектору параметров), для которого остаточная сумма минимальна.

Предполагается, что существует латентная модель, реализующая функциональную зависимость z = f_lat (x) (в примерах она задается специально). Задается широкое множество Ц базисных функций в количестве r (|Ц| = r). Произвольно перенумеровываются элементы Ш = 2^Ц\. Множества Ш_k Ш (k < 2^r) образуют тестовые базисы для подзадач.

Вводятся привычные обозначения для совокупностей значений независимой, зависимой переменной, ошибок измерения и матрицы эксперимента соответственно в случаях исторической (i) и проверочной (ii) выборок (в случае (i) приводится и матричная форма оптимального по МНК решения):

(i) x = {x_i}, z = {z_i}, z_i = f (x_i) + e_i, i = 1. n; A = {a_il = ц_l (x_i), i =1. n, l =1. r}. "k: МНК: и_k = argmin_и (z-A_kи) ^T (z-A_kи) = (A_k^TA_k) - 1A_k^Tz; здесь A_k - сужение A на Ш_k, |A_k| = n|и_k|,.

(ii) о = {о_j}, ж = {ж_j}, ж_j = f (о_j) + е_j, j =1. н; B = {b_jl = ц_l (о_j), j =1. н, l =1. r}.

МДНК (можно применять совместно с принципом простоты): при этом и_k расширяется до и_k?, |и_k?| = r (альтернатива: сокращение B до B_k, |B_k| = н|и_k|).

Теоретические основы эвристической процедуры составляет

Теорема. Если истинный базис Ш содержится в системе Ш, Ш = Ш_m Ш, то сумма квадратов S₁ = (ж - Bи_k) ^T (ж - Bи_k), рассчитанная по проверочной выборке, принимает минимальное значение на базисе Ш, т.е. m = argmin_k S₁.

Иллюстративный пример

В качестве базиса Ц в иллюстративных примерах рассматривались наборы {1, x, …, x^r-1}, {1, x, y, …, x^r-1, x^r-2y, …, xy^r-2, y^r-1}, {1, sin (x), cos (x),…, sin (2р (r-1) x), cos (2р (r-1) x) }, притом оба случая: f_lat (x) Ц и f_lat (x) Ц. Приведем лишь один из них с Ц = {1, x, …, x^r-1}; r = 7, n = 40, н = 40, Д = 0.1; l = 3, у_in = 0.101263, у_out = 0.112046; и и_lat = {1, 0, 0, - 1}, для него оптимальным будет и₃ = {0.949863, 0.563732, - 1.42271}; s = {0.291002, 0.129241, 0.111689, 0.121512, 0.133321, 0.131577, 0.15959}.

При Д= 0.01 по понятным причинам реализуется уже более точное соответствие результата эвристики латентной модели. Метод дает вектор: и₄ = {1.01039, - 0.115941, 0.266483, - 1.16145}; s = {0.266359, 0.0912089, 0.0217785, 0.0121512, 0.0133321, 0.0131577, 0.015959}.

Аналогично рассматриваются и многие иные примеры.

Заключение