Изменение разрядности и способа отображения как процедуры предварительной обработки измерительных данных

Проблема обработки и сжатия данных в информационно-измерительных системах. Представление данных в двумерном виде, увеличение коэффициента сжатия для целевых алгоритмов. Эффективность изменения разрядности данных как процедур предварительной обработки.

Рубрика Коммуникации, связь, цифровые приборы и радиоэлектроника
Вид статья
Язык русский
Дата добавления 19.03.2023
Размер файла 550,2 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.Allbest.Ru/

Изменение разрядности и способа отображения как процедуры предварительной обработки измерительных данных

И.В. Богачев, к.т.н., наук

Аннотация

Решение проблемы предварительной обработки и сжатия измерительных данных в информационно-измерительных системах на настоящий момент получило актуальный характер. При этом основным недостатком существующих подходов является работа с источниками сигналов в отдельности, без учета возможных корреляций между ними и, как следствие, одномерная обработка данных. В работе рассмотрен подход к представлению данных в двумерном виде, и проведено исследование эффективности изменения разрядности данных и использования различных способов их отображения как простейших процедур предварительной обработки. Полученные результаты показали, что совместное применение этих двух подходов позволяет достичь увеличения коэффициента сжатия для целевых алгоритмов.

Ключевые слова: информационно-измерительные системы, измерительные данные, кадр данных, предварительная обработка, структурное преобразование, сжатие, коэффициент сжатия.

Введение

Развитие цифровой техники [1] вызвало пристальное внимание как отечественных [2 - 6], так и зарубежных исследователей [7 - 11] к вопросу повышения эффективности передачи оцифрованных сигналов, что привело их к ярко выраженному преобладанию над аналоговыми, особенно в информационно-измерительных системах (ИИС). В них для сокращения избыточности данных стандартной практикой стало использование алгоритмов сжатия как общего назначения [2], так и специализированных [12 - 16], применяемых с целью экономии объема устройств хранения данных и пропускной способности каналов связи, повышения скорости передачи и т.д. Необходимо отметить, что первые практически вплотную приблизились к верхней теоретической границе коэффициента сжатия для измерительных данных при использовании классического подхода к их представлению [17], а вторые строго зависят от структуры и свойств таких данных [18-19], что также ограничивает их эффективность.

В общем случае эффективность сжатия обеспечивается не только собственными особенностями алгоритмов сжатия, но и особенностями алгоритмов предварительной обработки данных, а их наиболее эффективными представителями являются специализированные алгоритмы, нацеленные на оптимизацию структуры данных к виду, на котором целевой алгоритм сжатия покажет наибольшую эффективность [20].

Здесь следует отметить, что алгоритмы сжатия общего назначения зачастую оперируют с одномерным представлением данных, а наиболее эффективные из современных специализированных алгоритмов предполагают их представление в виде и-мерных структур. В частном случае предполагается представление данных кадрами в разностно-битовом виде с последующим отображением на двумерную матрицу [21], которое проходит с сохранением естественной разрядности данных, но такой подход не гарантирует учет всех возможных корреляций, особенно при понимании того, что могут быть применены различные способы отображения.

Исходя из вышесказанного, становится очевидной необходимость исследования влияния изменения разрядности данных и способов их отображения при переходе от одномерного к двумерному представлению на эффективность последующего сжатия.

Представление измерительных данных кадрами

Для измерительных данных характерно, что разность между значениями одного и того же отсчета, полученная между двумя моментами времени, не будет превышать некоторого условно малого значения по отношению к их полному диапазону изменения [22]. Следовательно, данные, поступающие в один и тот же момент времени от различных телеметрируемых объектов и описывающие различные их свойства, будут иметь взаимные корреляции.

Основываясь на этом свойстве, предлагается организовывать множество отсчетов данных, полученных в один момент времени, в виде кадров, содержащих результат их дельта-кодирования, представленный в битовом виде. Пример такого представления приведен на рис. 1, где приняты следующие обозначения: АД, - результат дельта-кодирования одного отсчета в двух соседних по времени (t) кадрах, полученный от датчика Д,; п - число источников данных разрядности т; АД,ij - представление отсчета ДДі в виде последовательности битов.

Рис. 1. Формы представления отсчетов измерительных данных

В приведенном примере данные представляются кадром с сохранением исходной разрядности. Предположим, что не всегда такой подход будет иметь наибольшую эффективность с точки зрения сжатия. Помимо того, биты отображаются по строкам сверху вниз и слева направо в каждой строке (рис. 2 а).

Такой подход принято считать классическим способом отображения (СО) данных, который, очевидно, априори не может быть наиболее эффективным для большого многообразия данных с различными свойствами.

Так, можно предположить, что, изменяя способ, по которому происходит отображение битов данных, можно изменить однородность их расположения в кадре, что в свою очередь может повлечь изменение эффективности последующего сжатия. Помимо классического СО (КСО), можно выделить:

- змеевидный (ЗМСО), при котором биты отображаются по строкам сверху вниз, при этом строки поочередно отображаются слева направо (начиная с верхней строки) и справа налево (рис. 2б);

- спиралевидный (СПСО), при котором биты отображаются с внешней стороны к внутренней (образуя спиральную линию), начиная с левого верхнего угла и далее по часовой стрелке (рис. 2в);

- зигзагообразный (ЗСО), при котором биты отображаются по диагонали (начиная с левого верхнего угла), при этом диагонали поочередно меняют направление отображения (рис. 2г).

Рис. 2. Способы отображения: а) классический; б) змеевидный; в) спиралевидный; г) зигзагообразный

Исследование предложенных решений

обработка измерительный данный информационный

Исследование эффективности изменения разрядности данных и способов их отображения в кадры проводилось с использованием данных телемеханики (телеизмерения и телесигнализация), полученных от ряда объектов энергетики (подстанции и генерирующие станции) с помощью системы сбора и передачи телемеханики ТМ-800.

В качестве тестовых использовались пять наиболее характерных наборов данных (НД), сформированных из отсчетов, полученных как в штатном режиме работы объекта (стационарные наборы НД1, НД3 и НД5), так и в режиме перевода энергосети из одного состояния в другое (нестационарные наборы НД2 и НД4). Отметим, что объем наборов варьировал от 11 до 19 тысяч кадров.

С целью обеспечения более точной оценки эффективности предложенного в работе подхода в исследовании применялись как универсальные, так и специализированные алгоритмы сжатия (АС), основанные:

- на поиске нестрого однородных областей на поверхности кадра (SC) [21];

- представлении кадра как таблицы истинности логической функции нескольких переменных (LC) [22];

- паркетном разбиении кадра на строго однородные области (PC) [23]; разбиении секущими кадра на строго однородные области (SLC) [24]; алгоритме RLE [25].

Результаты работы алгоритмов сжатия над НД, для которых была сохранена исходная разрядность (n = m = 8) и применен классический способ отображения, приведены в табл. 1, при этом оценивались средний коэффициент (СКС) и среднее время (СВС) сжатия для каждого набора.

Таблица 1

АС

Параметр

НД

НД1

НД2

НД3

НД4

НД5

RLE

СКС, ед

1,4184

1,1634

1,3175

1,2486

1,3064

СВС, мс

0,0040

0,0042

0,0039

0,0038

0,0038

SC

СКС, ед

1,9694

1,6439

1,8448

1,7021

1,8802

СВС, мс

0,1483

0,1519

0,1488

0,1502

0,1487

LC

СКС, ед

2,9996

1,6942

2,5030

2,0024

2,5492

СВС, мс

0,0415

0,0507

0,0437

0,0460

0,0446

PC

СКС, ед

1,7285

1,1728

1,7438

1,1943

1,6315

СВС, мс

0,0096

0,0131

0,0092

0,0135

0,0093

SLC

СКС, ед

2,0055

1,3345

2,0242

1,3713

1,8876

СВС, мс

0,0125

0,0175

0,0125

0,0172

0,0133

Полученные результаты показывают, что специализированные алгоритмы на нестационарных НД дают относительно невысокий коэффициент сжатия, затрачивая на это значительное количество времени по сравнению с результатами, полученными для стационарных наборов. Такое их поведение означает малую эффективность в случае работы с данными нестационарного и смешанного типа, а также принципиальную непригодность при условии работы в «жестком» реальном времени.

В свою очередь алгоритм общего назначения в целом показал невысокую эффективность, обеспечив достаточно низкий коэффициент сжатия для всех типов данных. С другой стороны, он гарантирует практически одинаковое время сжатия для всех наборов, что делает его наиболее эффективным в условиях, когда необходимо максимальное быстродействие на данных смешанного типа.

Результаты работы алгоритмов сжатия над НД, для которых были применены по отдельности различные способы отображения (при n = m = 8) и изменена разрядность данных (с использованием КСО), а также их эффективные комбинации, приведены в табл. 2, 3 и 4.

Таблица 2

АС

Параметр

НД

НД1

НД2

НД3

НД4

НД5

СО

КСО

ЗМСО

ЗМСО

КСО

ЗМСО

RLE

СКС, ед

1,4184

1,1704

1,3334

1,2486

1,3231

СВС, мс

0,0057

0,0042

0,0039

0,0039

0,0040

СО

КСО

КСО

КСО

КСО

КСО

SC

СКС, ед

1,9694

1,6439

1,8448

1,7021

1,8802

СВС, мс

0,1488

0,1551

0,1484

0,1525

0,1510

СО

СПСО

СПСО

СПСО

ЗМСО

ЗМСО

LC

СКС, ед

3,3106

1,8089

2,6053

2,1251

2,6106

СВС, мс

0,0430

0,0508

0,0453

0,0478

0,0455

СО

КСО

КСО

КСО

КСО

КСО

PC

СКС, ед

1,7285

1,1728

1,7438

1,1943

1,6315

СВС, мс

0,0115

0,0151

0,0101

0,0138

0,0102

СО

КСО

КСО

КСО

КСО

КСО

SLC

СКС, ед

2,0055

1,3345

2,0242

1,3713

1,8876

СВС, мс

0,0149

0,0185

0,0124

0,0173

0,0130

Таблица 3

АС

Параметр

НД

НД1

НД2

НД3

НД4

НД5

СКС, ед

1,7142

1,1699

1,4905

1,3637

1,4576

RLE

СВС, мс

0,0062

0,0046

0,0043

0,0043

0,0041

n

1

4

1

2

2

m

64

16

64

32

32

СКС, ед

1,9976

1,6439

1,8448

1,7021

1,8802

SC

СВС, мс

0,1228

0,1477

0,1436

0,1461

0,1457

n

32

8

8

8

8

m

2

8

8

8

8

СКС, ед

2,9996

1,6942

2,5030

2,0024

2,5492

LC

СВС, мс

0,0439

0,0516

0,0441

0,0457

0,0444

n

1

1

1

1

1

m

64

64

64

64

64

СКС, ед

1,8973

1,1728

1,7438

1,3277

1,6315

PC

СВС, мс

0,0112

0,0131

0,0090

0,0114

0,0095

n

1

8

8

1

8

m

64

8

8

64

8

СКС, ед

2,0055

1,3345

2,0242

1,3713

1,8876

SLC

СВС, мс

0,0130

0,0176

0,0119

0,0173

0,0132

n

8

8

8

8

8

m

8

8

8

8

8

Сравнивая представленные в табл. 2 и 3 результаты, можно сделать вывод, что наибольшее влияние на однородность данных и эффективность их последующего сжатия имеет выбор разрядности данных с одновременным использованием КСО, при этом в условиях сохранения исходной разрядности данных он остается наиболее эффективным.

Важно заметить, что наблюдается корреляция между разрядностью отсчетов кадра после изменения их разрядности и эффективностью сжатия. В пренебрежительно малом количестве опытов наблюдается обратная зависимость, а в остальных опытах оказалось эффективным увеличение разрядности или ее сохранение.

Таблица 4

АС

Параметр

НД

НД1

НД2

НД3

НД4

НД5

СО

ЗСО

ССО

ССО

КСО

ССО

СКС, ед

1,7385

1,2104

1,5055

1,3637

1,4860

RLE

СВС, мс

0,0049

0,0047

0,0041

0,0044

0,0043

n

1

4

1

2

1

m

64

16

64

32

64

СО

ССО

КСО

ССО

КСО

ССО

СКС, ед

2,0962

1,6439

1,8922

1,7021

1,9200

SC

СВС, мс

0,1237

0,1500

0,1252

0,1494

0,1254

n

32

8

32

8

32

m

2

8

2

8

2

СКС, ед

ССО

ССО

ССО

ЗМСО

ЗМСО

СВС, мс

3,3106

1,8089

2,6053

2,1251

2,6106

LC

СО

0,0413

0,0517

0,0434

0,0458

0,0438

n

1

1

1

1

1

m

64

64

64

64

64

СКС, ед

ЗСО

ССО

КСО

КСО

КСО

СВС, мс

1,9283

1,2077

1,7438

1,3277

1,6315

PC

СО

0,0097

0,0127

0,0096

0,0113

0,0095

n

1

1

8

1

8

m

64

64

8

64

8

СО

КСО

КСО

КСО

КСО

КСО

СКС, ед

2,0055

1,3345

2,0242

1,3713

1,8876

SLC

СВС, мс

0,0123

0,0176

0,0120

0,0174

0,0128

n

8

8

8

8

8

m

8

8

8

8

8

Анализ данных, приведенных в табл. 4, свидетельствует, что в достаточно большом количестве опытов наибольшую эффективность алгоритмы сжатия показывают на наборах, данные в которых были преобразованы с нарушением разрядности и одновременно с этим отображены с использованием спиралевидного или классического СО. При этом применение такого комбинированного подхода позволяет добиться значительно большего эффекта, чем использование их по отдельности.

Важно заметить, что в данном случае эффективность преобразований уже не связана с особенностями группирования отсчетов в кадрах рассматриваемых наборов, а основана лишь на попытке оптимально расположить немногочисленные единичные биты в их структуре.

Заключение

Основываясь на результатах проведенных экспериментов, можно сделать вывод, что изменения разрядности данных в совокупности с использованием различных способов их отображения могут быть использованы как процедуры предварительной обработки для задачи их последующего сжатия. При этом в большинстве случаев удается достичь значимого повышения ее эффективности. Важно отметить, что такой вариант стирает границы между классическим и геометрическим подходами к представлению данных, позволяя определять оптимальную их разрядность не априори, а в результате непосредственного анализа.

Дальнейшее развитие предложенных подходов предполагает несколько направлений. Во-первых, разработку адаптивного алгоритма преобразования, основанного на анализе свойств данных и выборе для них наиболее эффективной разрядности и способа отображения. Во-вторых, разработку способов косвенной оценки эффективности преобразования данных с целью увеличения быстродействия данной процедуры вместо ее оценки с помощью коэффициента сжатия, полученного на целевых алгоритмах.

Литература

1. Оллсон Г., Пиани Дж. Цифровые системы автоматизации и управления. - СПб.: Невский диалект, 2001.

2. Орешко В.В. Алгоритмы устранения избыточности информации, передаваемой от бортовых телеметрических систем на Землю // Ракетно-космическое приборостроение и информационные системы. - 2017. - Т. 4, №2. - С. 85-94.

3. Ломтев Е.А., Мясникова М.Г., Мясникова Н.В., Цыпин Б.В. Совершенствование алгоритмов сжатия-восстановления сигналов для систем телеизмерений // Измерительная техника. - 2015. - №3. - С. 11-15.

4. Победоносцев В.А. Определение количества информации о непрерывных сигналах. Элементарная теория. - М.: Радиотехника, 2017.

5. Тулекбаев Е.Т. Эффективные методы сжатия телеметрической информации для наземных комплексов управления // Вестник науки и образования. - 2017. - № 10. - С. 14-20.

6. Байбекова Ф.Н., Подольцев В.В., Беспалова Н.М., Сологубова Л.А. Обзор способов снижения избыточности телеметрической информации // Радиопромышленность. - 2019. - №2. - С. 8-16.

7. Capurro I., et al. Efficient Sequential Compression of Multichannel Biomedical Signals // IEEE Journal of Biomedical and Health Informatics. - 2017. - Vol. 21, №4. - P. 904-916.

8. Chen-Wei Huang, Jian-Jiun Ding. Efficient EEG Signal Compression Algorithm with Long Length Improved Adaptive Arithmetic Coding and Advanced Division and Encoding Techniques // 23rd International Conference on Digital Signal Processing (DSP). - Proceedings. Shanghai, China. - 2018.

9. Xin Zhang, Jafar Saniie. Unsupervised Learning for 3D Ultrasonic Data Compression // 2021 IEEE International Ultrasonics Symposium (IUS). - Proceedings. - Xi'an, China.

10. Tsung-Han Tsai, Fong-Lin Tsai. Efficient Lossless Compression Scheme for Multi-channel ECG Signal // 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). - Brighton, UK.

11. Xiaojin Shi, Yunhua Zhang, Xiao Dong. Evaluation of BAQ on Tiangong-2 interferometric imaging radar altimeter data compression // Proceedings 22nd International Microwave and Radar Conference (MIKON). - Poznan. Poland. - 2018.

12. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. - М.: ДИАЛОГ-МИФИ, 2003.

13. Бевецкий А.В. Алгоритм блочного сжатия измерительных данных // Ученые заметки ТОГУ. - 2013. - Т. 4, №4. - С. 811-818.

14. Головизин С.В., Левенец А.В., Симаков С.Р. Алгоритмы сжатия данных АСКУЭ и телемеханики для системы совместной передачи данных // Энергетика: управление, качество и эффективность использования энергоресурсов. Сб. трудов третьей Всероссийской НТК с международным участием. - 2003. - Т. 1. - С. 142-144.

15. Капля В.И., Бурцев А.Г., Тимофеев И.И. Сжатие измерительной информации методом Хаффмана с использованием таблицы уникальных величин // Журнал научных публикаций аспирантов и докторантов.

16. Чье Ен Ун, Левенец А.В., Токарев Р.Е. Применение популярных алгоритмов компрессии изображений для сжатия измерительных данных // Вестник Тихоокеанского государственного университета. - 2012. - №4(27). - С. 125-132.

17. Сергеенко B.C., Баринов В.В. Сжатие данных, речи, звука и изображений в телекоммуникационных системах. - М.: РадиоСофт, 2009.

18. Богачев, И.В., Левенец А.В., Чье Ен Ун. Статистический анализ телеметрических данных с точки зрения задачи сжатия // Информационно-управляющие системы. - 2017. №1 (86). - С. 11-16.

19. Богачев, И.В., Левенец А.В Корреляционный анализ и задача сжатия телеметрических данных // Информационные технологии XXI века: сб. науч. тр. - Хабаровск, 2017. - С. 136-143.

20. Bogachev I.V., Levenets A.V., Chye En Un. Reversible Structural Transformation Methods of Measuring Data Frames as a Means of Increasing the Efficiency of Compression // 2018 Proceedings International Multi-Conference on Industrial Engineering and Modern Technologies (FarEastCon). -Vladivostok.

21. Богачев И.В., Левенец А.В. Геометрический подход к сжатию данных телеметрических систем // Информатика и системы управления. - 2015. - №4(46). - С. 16-22.

22. Bogachev I.V., Levenets A.V., Chye En Un. Selection Criteria of the Compression Algorithm in Information-Measuring System // Proceedings 2nd International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM). - Chelyabinsk, 2016.

23. Богачев, И.В., Левенец А.В., Чье Ен Ун. Способ обратимого сжатия кадров измерительных данных на основе «паркетного» разбиения // Автометрия. - 2018. - №3(54). - С. 54-60.

24. Богачев, И.В., Левенец А.В., Чье Ен Ун. Алгоритм обратимого сжатия кадров измерительных данных на основе разбиения секущими // Информационно-сенсорные системы в теплофизических исследованиях: сборник науч. статей. В 2-х т. - Тамбов. - 2018. - Т. 1. - С. 186-189.

25. Salomon D. Motta G. Handbook of Data Compression. - Springer, 2010.

Размещено на allbest.ru


Подобные документы

  • Адаптивные системы передачи информации. Алгоритмы сжатия данных с однопараметрической адаптацией. Расчет разрядности аналогово-цифрового преобразователя. Расчет коэффициентов экстраполирующего полинома. Функциональная схема: блок датчиков и коммутации.

    курсовая работа [443,9 K], добавлен 07.12.2012

  • Блок обработки данных: общее устройство, выбор элементной базы. Структура операционного автомата. Расчет нагрузочной способности шины данных. Расчет длительности такта управляющего автомата. Память: построение, контроллер. Интерфейс шины процессор-память.

    курсовая работа [3,7 M], добавлен 07.01.2015

  • Алгоритмы, учитывающие систему визуального восприятия человека. Мультиразмерная ошибка. Мера качества видео на основе дискретного косинусного преобразования. Модификация алгоритмов оценки качества изображения с применением предварительной обработки.

    реферат [62,6 K], добавлен 19.11.2008

  • Функциональная схема и механизм работы цифрового устройства обработки данных. Синтез управляющего автомата, выбор типа триггера, описание управляющего автомата и счётчиков на языке Verilog. Процесс тестирования и моделирования управляющего автомата.

    курсовая работа [3,2 M], добавлен 05.12.2012

  • Проект устройства сбора данных (УСД), предназначеный для измерения, сбора, обработки, хранения и отображения информации с реальных объектов. Разработка блока выработки адресов каналов коммутатора. Абстрактный синтез УУ. Синтез управляющего устройства.

    курсовая работа [257,7 K], добавлен 19.06.2010

  • Измерительные информационные системы (ИИС) являются симбиозом аппаратных средств и алгоритмов обработки измерительной информации. Рассмотрение различных первичных измерительных преобразователей (датчиков) в ИИС. Классификационные признаки датчиков.

    контрольная работа [440,1 K], добавлен 20.02.2011

  • Определение энтропии и количества информации в сообщениях. Определение энтропии сложного сообщения, вырабатываемого двумя зависимыми источниками. Экономное кодированиее информации в системах цифрового спутникового телевидения и Internet, сотовой связи.

    реферат [34,9 K], добавлен 11.02.2009

  • Вейвлетная компрессия в современных алгоритмах компрессии изображений. Алгоритм фрактального сжатия изображения. Применение алгоритма SPIHT для оптимальной прогрессирующей передачи изображений и их сжатия. Основные черты алгоритма и структура его данных.

    реферат [78,4 K], добавлен 28.03.2011

  • Дискретный источник информации. Статистика его состояний, кодированный сигнал на логическом уровне, равномерный и неравномерный код. Физическая реализация элементарного сигнала, спектральное представление элементарного сигнала. Полоса частот канала.

    лабораторная работа [119,3 K], добавлен 06.07.2009

  • Понятие цифрового сигнала, его виды и классификация. Понятие интерфейса измерительных систем. Обработка цифровых сигналов. Позиционные системы счисления. Системы передачи данных. Режимы и принципы обмена, способы соединения. Квантование сигнала, его виды.

    курсовая работа [1,0 M], добавлен 21.03.2016

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.