П
одавление шумов
является одним
из естествен-
ных шагов обработки
временных или про-
странственных рядов
измерений. Существует
ряд методов подавле-
ния шумов, таких, как
медианная фильтра-
ция, полиномиаль-
ная аппроксимация,
фильтрация с исполь-
зованием косинусного,
Фурье- и вейвлет-пре-
образований и др. Эти
методы конкурируют
друг с другом, и вы-
бор правильного фильтра (метода фильтрации и его
параметров) является скорее искусством, чем наукой,
поскольку нет ясного критерия выбора метода. Мы
предлагаем технологию подавления шумов (сглажи-
вания), позволяющую на основании статистических
критериев (в первую очередь — доверительного
интервала) получить результат сглаживания, близ-
кий к оптимальному. Технология работает в классе
методов сглаживания, основанных на методе наи-
меньших квадратов. Погрешности аппроксимации
по этой технологии оказываются заметно ниже всех
известных нам популярных технологий шумоподав-
ления. Единственное требование, необходимое для
реализации технологии, — предварительная оценка
погрешности измерений в каждой точке массива
исходных данных, которая может быть произведена
по всему массиву имеющихся данных или оценена за-
ранее по предыдущим экспериментам. Преимущества,
предоставляемые технологией, продемонстрированы
на примере фильтрации шумов хроматографического
сигнала с использованием полиномиальной аппрок-
симации. Технология проста в реализации, может
быть применена в любой области обработки данных,
способна обеспечить близкое к максимально возмож-
ному отношение сигнал/шум без искажения формы
сигнала и претендует на то, чтобы стать типовой при
обработке сигналов любого происхождения.
ВВЕДЕНИЕ
Каждое измерение — это сумма полезного сигнала,
случайных шумов и систематических погрешностей его
измерения. Шумы создаются электронными система-
ми регистрации, изменениями условий окружающей
среды и т.д. Основная задача при обработке цифрового
сигнала — получить на основании массива измерен-
ных данных максимально точную оценку полезного сиг-
нала, породившего эти данные. Перечислим основные
цифровые методы борьбы с шумами (сглаживания) для
одномерных данных.
•
Медианное сглаживание
•
Скользящее среднее
•
Скользящее взвешенное среднее
•
Метод Савицкого-Голея
•
Фильтр Кальмана
•
Фильтрация с использованием преобразования Фурье
•
Фильтры, основанные на вейвлет-преобразовании.
Как уже говорилось, выбор между этими методами
относится к разряду искусства и часто основан на лич-
ных предпочтениях.
МНК ПРИ ЗАРАНЕЕ ИЗВЕСТНОЙ
ПОГРЕШНОСТИ ИЗМЕРЕНИЯ
Метод наименьших квадратов (МНК) способен
аппроксимировать данные со сглаживанием, и дает
решение (параметры аппроксимирующей функции),
которое минимизирует сумму квадратов отклонений
аппроксимации от имеющихся «сырых» данных.
Фильтр Савицкого-Голея основан именно на ап-
проксимации кривой полиномом с помощью МНК.
В большинстве учебников рассматривается ситуация,
когда ожидаемые погрешности измерения одинаковы
для всех точек и оцениваются по результатам анализа
того же набора точек, что и параметры аппроксими-
рующей функции. Далеко не всегда такая стратегия
является правильной — дополнительные знания об
измерительной системе могут оказать большую по-
мощь. Во многих случаях оценка погрешности изме-
рения может быть произведена по полному массиву
исходных данных или по ранее сделанным измерени-
ям гораздо надежнее, чем это возможно по ограни-
ченной выборке. Мы разработали алгоритм МНК при
условии заранее известной погрешности измерения
[1], в котором предполагается, что погрешность из-
мерения каждой точки известна заранее и одинакова
для всех точек.
ФИЛЬТР НА ОСНОВЕ
ДОВЕРИТЕЛЬНОГО ИНТЕРВАЛА
Для изучения эффективности фильтрации, основан-
ной на минимизации ДИ и предварительной оценке
уровня погрешности измерения [2], была сконструи-
рована система фильтров, основанных на полиноми-
альной аппроксимации одномерного сигнала, полу-
ченного от хроматографа (хроматограммы). Система
была проверена на модельных данных и реальных
хроматограммах.
На рисунке 1 представлен результат автоматиче-
ской фильтрации шумов. Отношение сигнала/шум для
этого пика увеличилось приблизительно в 65 раз, из
них в 8 раз за счет снижения избыточной частоты из-
мерений и еще в 8 раз — за счет фильтрации шумов.
Лучший из альтернативных методов (Метод Савицкого-
Голея) дает результат примерно в два раза хуже.
Представленный нами адаптивный метод филь-
трации шумов может быть применен практически
в любой измерительной системе, почти гарантиро-
ванно способен дать 2–3-кратное повышение отно-
КАЛАМБЕТ
Юрий Анатольевич,
генеральный директор
ООО «Амперсенд», кандидат
физико-математических наук
МАКСИМИЗАЦИЯ
ОТНОШЕНИЯ СИГНАЛ/ШУМ
НА ПРИМЕРЕ ОБРАБОТКИ
ХРОМАТОГРАФИЧЕСКИХ
ДАННЫХ
20
СБОРНИК ДОКЛАДОВ
МЕЖВЕДОМСТВЕННАЯ НАУЧНО-ПРАКТИЧЕСКАЯ КОНФЕРЕНЦИЯ
СПЕЦИАЛЬНЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
2017
