Single morph (одиночный морфинг) -- морфинг исходного изображения (source image) в итоговое (target image). Обычно программа для морфинга позволяет сгенерировать либо видеоролик (плавное перетекание одного изображения в другое), либо серию промежуточных изображений.

Photo to photo-morphing (фото в фотоморфинг) -- морфинг исходного изображения в результирующее, при котором результатом является серия статичных изображений, иллюстрирующих перетекание, или одно изображение, имеющее по 50% от двух исходных.

Например, при морфинге изображений двух братьев можно получить изображение их виртуального третьего брата, который будет иметь по 50% черт каждого из братьев, или при морфинге изображения мужчины в изображение женщины -- изображение их виртуального ребенка.

Для того чтобы создать реалистичный морфинг-проект, необходимо подобрать изображения и подготовить их с помощью фоторедактора. Некоторые морфинг-программы имеют встроенные функции фоторедактирования, другие предполагают, что подготовительная стадия выполняется во внешнем приложении, например в программе Photoshop. Обычно сначала необходимо отредактировать фон, размеры изображений, освещение, резкость и т.д.

Photo to video-morphing (фото в видео) -- морфинг исходного изображения в результирующее, при котором результатом является видеоролик.

Video to video morphing (видео в видео) -- морфинг на базе двух видеороликов.

Multiple morph -- множественный морфинг, то есть морфинг серии превращений. Например, последовательное изменение лица представителей различных рас в клипе «Black or White» Майкла Джексона -- типичный пример множественного морфинга.

Еще более сложным, по сравнению с множественным морфингом лиц людей разных рас, является множественный морфинг мало похожих объектов. Например, плавное преобразование человека в различных животных. Для создания столь сложного множественного морфинга важно иметь общую визуальную тему -- задний фон, какой-либо неизменный элемент, присутствующий на всех кадрах. Чем больше похожи фотографии по композиции (одинаковый центр композиции), тем более убедительным будет результат. Мозг человека устроен так, что в большей степени отслеживает плавность перехода в точке, которая концентрирует его внимание, а плавность морфинга на удалении от этой точки менее критична.

Anchor points, control points, key dots1 (якорные точки, контрольные точки, реперные точки, ключевые точки, точки соответствия) -- пары точек, определяющие соответствие между указанными пикселами исходного и конечного изображений.

В ряде программ, кроме точек, используются линии. Пользователи должны расставить точки и провести линии (контуры) на исходном изображении и задать их перемещение на конечном изображении. Необходимо расставить точки на исходной картинке и затем указать для них новое положение на итоговой. Чем больше точек и линий будет задано, тем более плавным и естественным будет видеоряд морфинга.

Real time playing (проигрывание в реальном времени) -- функция позволяет просмотреть морфинг-эффект во время редактирования до экспорта в результирующий файл. Данная функция дает возможность отработать параметры проекта и только после этого экспортировать его в файл. Она особенно важна для профессионалов, которые часто прибегают к задачам морфинга и которым требуется высокая производительность работы.

Real time preview (мгновенный предпросмотр) -- функция позволяет увидеть, как редактирование проекта влияет на результат.

Morph 2 + Images -- функция дает возможность объединить несколько проектов по морфингу в непрерывный морфинг-проект. Для каждого нового морфинга предыдущий итоговый кадр (target image) является начальным (source image).

Warp morphs (морфинг-искажение) -- большинство программ для морфинга предлагают эффекты искажения фотографий, похожие на те, с которыми сталкиваются посетители зала кривых зеркал. Здесь нет единой терминологии -- производители могут называть одни и те же эффекты по-разному. Однако чаще всего эффект Warp morphs подразумевает, что можно вручную деформировать часть изображения, создавая иллюзию движения. С помощью якорных точек нужно обозначить область, которую должен занять деформированный объект (например, так можно задать анимацию, при которой у человека растет нос или меняется форма головы, вытягиваясь в виде конуса, и т.п.).

Deform/distortion morphs (морфинг- деформирование) -- обычно такие формы морфинга задаются автоматически: пользователь выбирает из меню эффект и применяет его или ко всему изображению, или локально с помощью мыши (щелчок или перетаскивание).

Mask morphing (морфинг с маской) -- маска изолирует часть изображения, делая ее неизменяемой. Mask morphing-инструменты полезны, если необходимо анимировать только часть изображения.

Layered morphing (послойный морфинг) -- каждый слой изменяется отдельно, а затем слои совмещаются и зритель видит суммируемый эффект.

Auto reverse morphing (автореверс-морфинг) -- морфинг осуществляется от исходного изображения до конечного и обратно.

Алгоритм зависит от требуемого качества, скорости и способа задания соответствия элементов изображений. Удобно задавать соответствия, пользуясь сеткой (mesh), например. Плотность сетки влияет на скорость вычислений, требования к памяти, качество получаемого изображения. Редактор, представляющий способы задания соответствий, должен привести их к сетке. Художник, работая с редактором, может вообще не подозревать о том, что в конечном счете все задается таким образом (вообще говоря, чем лучше редактор этот факт скрывает, тем он удобнее).

Сетка задается узлами, и именно эти узлы(точки) при tweenig'e плавно движутся от своего первого положения во второе, то есть tweening морфирует сетку. Warping осуществляется в соответствии с начальной сеткой и сеткой, полученной для данного кадра. Для узловых точек это легко: мы знаем, что в исходной сетке узел находится в точке (х,у) с цветом с. Значит в требуемой картинке точка, в которой теперь находится узел, имеет цвет с. Для остальных точек несколько сложнее: тут применяется билинейная или бикубическая интерполяция.

В алгоритме, предложенном Douglas Smithe для создания спецэффектов к фильму “Willow” (1988), применяется двух проходное преобразование изображения: в начале изображение деформируется по х, а затем по у.

На деформацию сетки действуют ограничения: ее ячейки не должны накладываться друг на друга, и боковые узлы не должны двигаться. В более сложных алгоритмах в узлах сетки можно задавать дополнительные параметры - например, скорость dissolving'а, таким образом, регулируя нежелательное быстрое появление светлых частей второго изображения и т.п.

Технологии, использующие неявную геометрию, полагаются на небольшое число исходных изображений, но при этом используют дополнительную информацию о соответствиях (matches) пикселей на различных изображениях. Термин неявная геометрия означает, что 3D положения точек не восстанавливаются, а целевое изображение реконструируется с помощью манипуляции с соответствиями на изображениях. Такой подход позволяет увеличить дистанцию между изображениями, на которой возможна реконструкция произвольных значений пленоптик-функции.

Алгоритм интерполяции (view interpolation) позволяет реконструировать вид с произвольного положения камеры. Для его работы необходим плотный оптический поток (dense optical flow) между двумя соседними изображениями. Однако для хороших результатов исходные камеры должны находиться рядом, чтобы во время перемещения не происходило многочисленных изменений видимости (появление, пропадание объектов). Изменения видимости составляют серьезную проблему для методов, основанных на неявной геометрии, так как они не могут быть описаны непрерывной функцией оптического потока.

Рис.2 Интерполяция вида. Слева - исходное изображение. Справа - целевое. В центре - сгенерированные изображения

Недостатком указанного метода является то, что на практике получение оптического потока может быть очень трудной задачей, в частности для реальных изображений. Для ее решения применяются технологии машинного зрения, такие как плотное стерео (dense stereo), которые известны своей неустойчивостью.

Недостатком такого метода является то, что на практике получение оптического потока может быть очень трудной задачей, в частности для реальных изображений. Для ее решения применяются технологии машинного зрения, такие как плотное стерео (dense stereo), которые известны своей неустойчивостью.

Другой подход, известный как видовой морфинг (view morphing) не требует известного оптического потока и позволяет восстанавливать произвольные промежуточные изображения на линии, соединяющей центры проекции исходных изображений. Каждое промежуточное изображение является линейной комбинацией двух соседних. При этом на этапе предобработки изображения проходят процесс ректификации, после которого соответствующие эпиполярные линии становятся горизонтальными. Соответственно, на этапе постобработки происходит процесс де-ректификации изображений.

Рис.3 Видовой морфинг. В центре - сгенерированное изображение

Его недостатком является ограниченные возможности перемещения, а также трудности с изменениями видимости, аналогично предыдущему методу.

Эти методы, по сути, используя набор из двухмерных выборок пленоптик-функции (изображений), интерполируют ее, достраивая до непрерывной в области между известными значениями.

В работе приводится метод, названный пленоптик-моделированием. В качестве выборок пленоптик-функции используются цилиндрические панорамы, расположенные на небольшом расстоянии друг от друга (не более полутора метров). С использованием алгоритмов плотного стерео вычисляется диспаритет каждой точки панорамы, который используется при создании промежуточного изображения.

Кривые Безье. Одним из основных элементов векторной графики являются кривые Безье, так как метод кривых Безье позволяет создавать кривые любой формы. Они широко используются для решения задач аппроксимации, потому что их удобно описывать аналитически, а также просты для наглядного геометрического построения. Названы они так были в честь Пьера Безье, он первым представил их широкой публике (это было в 1962 г.), хотя разработал их первым Поль де Кастелье. Разрабатывались кривые независимо обоими инженерами для проектирования кузовов автомобилей французских компаний "Рено" (Безье) и "Ситроен" (де Кастелье). Именем де Кастелье назвали рекурсивный метод построения кривых (алгоритм де Кастелье). Впоследствии кривые Безье стали широко использоваться не только в автомобилестроении, но и в системах автоматизированного проектирования и программах компьютерной графики для моделирования гладких линий; однако не все виды кривых Безье имеют широкое применение в компьютерной графике - кривые высших степеней используют редко ввиду их высоких требований к вычислительным ресурсам, поэтому наиболее популярными являются кубические кривые Безье (для создания сложных линий, кривые объединяют в сплайны, причем смежные опорные точки обеих кривых должны лежать на одной линии).

Рис.4 Кривая Безье и, образующий ее, многоугольник

Кривая Безье задается многоугольником и имеет математическое параметрическое представление вида:

где базис Безье или Бернштейна, или функция аппроксимации

-- это i-тая функция базиса Бернштейна порядка n. Здесь i -- порядковый номер опорной вершины, n -- порядок определяющей функции базиса Бернштейна -- и, следовательно, сегмента полиномиальной кривой, на единицу меньше количества точек определяющего многоугольника. - биномиальные коэффициенты.

- функция компонент векторов опорных вершин (координаты вершин многоугольника Безье).

Метод de Casteljau основан на разбиении отрезков, соединяющих исходные точки в отношении t (значение параметра), а затем в рекурсивном повторении этого процесса для полученных отрезков.

Кривые Безье бывают линейные, квадратичные, кубические и т.д. - кривые высших степеней. Линейная кривая Безье является отрезком и задается двумя опорными точками, которые являются концами этого отрезка; квадратичная кривая имеет 3 опорные точки; далее аналогично.

Примеры математического писания сплайнов 1,2,3-его порядков:

1.

2.

3.

Преобразование квадратичных кривых Безье в кубические:

Квадратичная кривая Безье с координатами преобразовывается в кубическую кривую Безье с координатами

Некоторые свойства кривых Безье:

· Функции базиса вещественны.

· Степень многочлена, определяющего участок кривой, на единицу меньше количества точек соответствующего многоугольника.

· Основа формы кривой повторяет очертания многоугольника.

· Первая и последняя точки кривой совпадают с соответствующими точками определяющего многоугольника.

· Векторы касательных в концах кривой по направлению совпадают с первой и последней сторонами многоугольника.

· Кривая лежит внутри выпуклой оболочки многоугольника, т.е. внутри самого большого многоугольника, построенного по заданным точкам.

· Кривая обладает свойством уменьшения вариации. Это означает, что кривая пересекает любую прямую линию не чаще, чем определяющий многоугольник.

o В случае, если выпуклые оболочки не пересекаются, то и сами кривые не пересекаются.

· Кривая инвариантна относительно аффинных преобразований.

Для большинства тел, встречающихся на практике, не существует простых универсальных формул, описывающих соответствующие контуры объекта в целом. Поэтому при изображении произвольного объекта, как правило, не удается обойтись небольшим количеством простейших формул, и тогда на помощь приходят сплайны. Обычно при создании изображения сначала задают координаты небольшого числа опорных точек, описывающих будущую кривую линию или контур, а затем эти точки объединяют плавной кривой.

Сплайны применяются для решения двух следующих задач: по заданному массиву опорных точек на плоскости необходимо построить кривую, проходящую либо через все эти точки - задача интерполяции, либо вблизи этих точек -- задача сглаживания. Для решения этих задач используются различные методы, например, задачу интерполяции используют многочлен Лагранжа. К его достоинствам относят простоту описания и точность прохождения через вес точки, к недостаткам то, что степень многочлена Лагранжа лишь на единицу меньше числа заданных точек, также изменение координат одной точки требует полного пересчета коэффициентов интерполяционного многочлена и существенно влияет на вид задаваемой им кривой. Интерполяционную кривую можно построить с помощью кусочно-линейной интерполяции, т.е. путем последовательного соединения точек заданного набора отрезками прямых, результате будет ломаная линия, но полученная таким образом кусочно-линейная функция не обладает нужной гладкостью и не может быть использована для создания контуров объектов даже при большом наборе опорных точек. Для оптимального решения задачи интерполяции необходимо использовать так называемый полиномиальный многозвенник, который сочетает преимущества двух рассмотренных выше способов: для интерполяции используются многочлены фиксированной степени, интерполяция производится последовательно -- звено за звеном. При этом важно правильно выбрать степени интерполяционных многочленов, а также коэффициенты многочленов для выполнения условия гладкого сопряжения соседних узлов. Полученные в результате интерполяции функции называются сплайн-функциями или просто сплайнами.

Рис. 5 Сплайн, составленный двух из кривых Безье

морфинг алгоритм графический изображение интерполяция

В случае с векторной графикой, чаще всего приходится решать задачу плавного соединения кубических кривых Безье, условия для состыковки кривых Безье в сплайн, также как и многое другое можно найти в книге "Математические основы компьютерной графики" Д. Роджерса, 2001 г.

При создании сплайнов в векторных редакторах чаще всего используются следующие понятия:

· сегмент - это часть линии сплайна между двумя соседними верши-нами;

· вершины - различаются по типу и определяют степень кривизны сегментов сплайна, прилегающих к этим вершинам.

Обычно в программах используются четыре типа вершин:

· Corner (С изломом) -- вершина, примыкающие сегменты к которой не имеют кривизны;

· Smooth (Сглаженная) -- вершина, через которую кривая сплайна проводится с изгибом и имеет одинаковую кривизну сегментов с обеих сторон от нее;

· Bezier (Безье) -- вершина, подобная сглаженной, но позволяющая управлять кривизной сегментов сплайна с обеих сторон от этой вершины: для этого вершина снабжается касательным отрезком с маркерами, перемещая маркеры касательных отрезков вокруг вершины, можно изменять направления, по которым сегменты сплайна входят в вершину и выходят из нее, а изменяя расстояние от маркера до вершины -- регулировать кривизну сегментов сплайна;

· Bezier Corner (Безье с изломом)-- вершина, которая, как и вершина типа Bezier, снабжена касательным вектором, но у вершин Bezier Corner (Безье с изломом) касательные не связаны друг с другом отрезком, и маркеры можно перемещать независимо.

2. Пример реализации морфинга в Mathlab

GUI_point_finder1.m:

%Program for user to identify key points on two images image which will be

%used for a morph. Output vectors of points are "vector1" and "vector2"

%which correspond to the first and second images read in.

clear

[FileName,PathName] = uigetfile('*.*','Choose A Picture');

pic1=(imread(strcat(PathName,FileName)));

points=46; %number of points on people to use- see instruction file

vec=[47,259;164,142;156,348;275,133;278,177;282,224;274,385;278,337;282,291;292,93;302,64;419,113;285,426;304,450;418,400;296,170;314,209;335,170;314,130;310,168;314,261;295,342;314,381;333,342;315,303;310,342;443,227;452,258;442,293;487,259;502,317;517,259;502,199;483,134;475,383;576,138;576,375;606,259;673,259;564,180;563,333;173,259;75,169;67,342;157,92;164,431];

y=vec(:,1);

x=vec(:,2);

subplot(1,2,2)

imshow('face-nox.jpg')

for i=1:points

subplot(1,2,2)

hold on

plot(x(i),y(i),'xr','MarkerSize',20);

hold off

%picture 1

subplot(1,2,1)

imshow(pic1)

[x1(i) y1(i)] = ginput(1);

subplot(1,2,2)

hold on

plot(x(i),y(i),'xg','MarkerSize',20);

hold off

end

close

vector=round(cat(2,y1',x1'));

savefile = strcat(FileName,'.mat');

save(savefile, 'pic1', 'vector')

GUI_point_finder2.m:

%Program for user to identify key points on two images image which will be

%used for a morph. Output vectors of points are "vector1" and "vector2"

%which correspond to the first and second images read in.

clear

[FileName,PathName] = uigetfile('*.*','Choose A Picture');

pic1=(imread(strcat(PathName,FileName)));

[FileName2,PathName2] = uigetfile('*.*','Choose A Picture');

pic2=(imread(strcat(PathName2,FileName2)));

points=14; %number of points on people to use- see instruction file

subplot(1,2,1)

imshow(pic1)

subplot(1,2,2)

imshow(pic2)

for i=1:points

subplot(1,2,1)

[x1(i) y1(i)] = ginput(1);

hold on

plot(x1(i),y1(i),'.r','MarkerSize',10);

hold off

subplot(1,2,2)

[x2(i) y2(i)] = ginput(1);

hold on

plot(x2,y2,'.g','MarkerSize',10);

hold off

subplot(1,2,1)

hold on

plot(x1,y1,'.g','MarkerSize',10);

hold off

end

close

vector=round(cat(2,y1',x1'));

savefile = strcat(FileName,'.mat');

save(savefile, 'pic1', 'vector')

vector=round(cat(2,y2',x2'));

pic1=pic2;

savefile = strcat(FileName2,'.mat');

save(savefile, 'pic1', 'vector')

colormorph.m:

%Takes two composite image files prepared in 'pointinder.m' and morphs from

%one to the other smoothly

clear;

tic

%Read in composite image/vector files prepared in pointfinder=====

[FileName,PathName] = uigetfile('*.*','Choose The Starting Picture Composition');

[FileName2,PathName2] = uigetfile('*.*','Choose The Target Picture Composition');

load(strcat(PathName,FileName));

images=double(pic1);

vectors=vector;

load(strcat(PathName2,FileName2));

imagef=double(pic1);

vectorf=vector;

[x,y,z]=size(images); %adds on corner points to vectors - allows cubic to work

corners=[1,1;1,y;x,1;x,y];

vectors=cat(1,vectors,corners);

vectorf=cat(1,vectorf,corners);

vecdiff=(vectors-vectorf);

[X,Y] = meshgrid(1:x,1:y);

frames=50;

final=zeros(x,y,z);

finalf=zeros(x,y,z);

morph=zeros(x,y,z);

%=====================================

%Interpolate changes across all pixels in image

totaltranx=(griddata(vectorf(:,1),vectorf(:,2),vecdiff(:,1),X,Y,'v4'))';

totaltrany=(griddata(vectorf(:,1),vectorf(:,2),vecdiff(:,2),X,Y,'v4'))';

for n=2:frames

%Apply changes incrementally==========

transx=round(totaltranx.*(n-1)/frames);

transy=round(totaltrany.*(n-1)/frames);

tranfx=round(transx-totaltranx);

tranfy=round(transy-totaltrany);

%=====================================

for i=1:x

for j=1:y

if (i+transx(i,j)<=x)&&(j+transy(i,j)<=y)&&(i+transx(i,j)>=1)&&(j+transy(i,j)>=1)

final(i,j,1)=images(i+transx(i,j),j+transy(i,j),1);

final(i,j,2)=images(i+transx(i,j),j+transy(i,j),2);

final(i,j,3)=images(i+transx(i,j),j+transy(i,j),3);

end

if (i+tranfx(i,j)<=x)&&(j+tranfy(i,j)<=y)&&(i+tranfx(i,j)>=1)&&(j+tranfy(i,j)>=1)

finalf(i,j,1)=imagef(i+tranfx(i,j),j+tranfy(i,j),1);

finalf(i,j,2)=imagef(i+tranfx(i,j),j+tranfy(i,j),2);

finalf(i,j,3)=imagef(i+tranfx(i,j),j+tranfy(i,j),3);

end

end

end

morph(:,:,:)=imlincomb((n-1)/frames,finalf(:,:,:),(frames-n+1)./(frames),final(:,:,:));

morph=uint8(morph);

figure(1)

h=imshow(morph(:,:,:));

saveas(h,['framet' num2str(n) '.tif'])

% final=uint8(final);

% finalf=uint8(finalf);

% h=imshow(final(:,:,:));

% saveas(h,['frametcheese' num2str(n) '.tif'])

% h=imshow(finalf(:,:,:));

% saveas(h,['frametmouse' num2str(n) '.tif'])

end

h=imshow(uint8(images(:,:,:)));

saveas(h,['framet' num2str(1) '.tif'])

h=imshow(uint8(imagef(:,:,:)));

saveas(h,['framet' num2str(frames+1) '.tif'])

toc

Контрольные примеры