На протяжении последних трех лет основным направлением моей теоретической работы в области распознавания образов является исследование явления перенастройки классификаторов, а также определение количества информации о принадлежности к классу, содержащейся в признаковом описании объекта. Ниже приведено краткое описание имеющихся результатов и некоторых направлений дальнейшей деятельности.
Выпуклый стабилизатор. Очевидно, что использование нескольких классификаторов для решения одной задачи, вообще говоря, увеличивает надежность результата, делая его менее подверженным переобучению. Поскольку оценка степени перенастройки каждого алгоритма может быть получена только косвенным путем, необходим иной способ определения факта переобучения. В качестве такового предложен градиент оценки апостериорной вероятности принадлежности объекта классу. Коллективное решение строится исходя из требования правильной классификации объектов контрольной выборки и требования максимальной устойчивости получившегося классификатора в рассматриваемой точке. Итоговое решающее правило получается в виде выпуклой комбинации функций оценок исходных алгоритмов, причем коэффициенты выпуклой комбинации зависят от положения распознаваемого объекта относительно объектов контрольной выборки, локальной эффективности соответствующего исходного алгоритма и его локальной устойчивости. Скачать материалы по выпуклому стабилизатору на русском и английском языках Вы можете здесь.Программный комплекс проектирования нечетких экспертных систем. Подробную информацию о нем Вы можете найти здесь.
Универсальная система распознавания и прогнозирования. Данная работа выполняется коллективом сотрудников Вычислительного цетнтра РАН (куда автор имеет честь входить) и ООО "Решения" с 2002 года под руководством академика РАН Ю.И. Журавлева и доктора физ.-мат. наук В.В. Рязанова. Основная задача состоит в объединении различных подходов к распознаванию образов, существующих на сегодняшний день в рамках единой программной системы. Основной упор сделан на реализацию различных схем коллективных решений, которые позволили бы объединить лучшие стороны каждого алгоритмического семейства для получения максимального результата. В настоящий момент работа над системой практически завершена. Более подробную информацию о ней Вы можете найти на сайте ООО "Решения". Настоящая работа была поддержана РФФИ (гранты 02-01-08007, 02-01-00558, 03-01-00580) и фондом содействия малому предпринимательству в научно-технической сфере (контракт 1680р/3566).
Регуляризация процедуры обучения.Задача обучения распознаванию образов является в математическом смысле некорректно поставленной. В частности, отсутствие требования единственности и устойчивости приводит к неуверенной классификации и переобучению. В то же время, в математике есть приемы решения подобных некорректных задач. Методы регуляризации позволяют изменить задачу, сделав ее корректной. Полученное решение, вообще говоря, не будет правильным с точки зрения теории, но будет иметь значительно большую практическую ценность. Очевидно, что при обучении распознаванию образов, можно пренебречь правильной классификацией части объектов обучающей выборки, если получившееся решение будет иметь лучшую обобщающую способность. Путем изменения функционала качества (а именно добавления к нему регуляризатора), мы отказываемся от прямой минимизации числа ошибок на обучении, обращая внимание также на устойчивость (в смысле малых изменений координат объекта) классификации.
Я только начинаю исследования в данном направлении. С моими первыми результатами можно ознакомиться здесь.
В последнее время я со своими коллегами провел исследования по возможности применения разработанной процедуры регуляризации к нейронным сетям (совместно с аспирантом НАН Азербайджана Эльшаном Мустафаевым) и к решающим деревьям (совместно с Кропотовым Дмитрием и студентом МГУ ВМиК Толстовым Игорем). Результаты экспериментов показали, что процедура регуляризации вполне конкурентоспособна с другими средствами контроля за перенастройкой. В моих дальнейших планах применение Байесовского подхода для оценки параметра регуляизации. В случае успеха, это позволит проводить одновременную регуляризацию по всему множеству значений параметра (аналогично технологии Relevance Vector Machines).
Вероятностная фильтрация сигналов. Одной из наиболее важных задач, возникающих при цифровой обработке сигналов, является задача фильтрации сигнала, т.е. задача выявления и устранения помех с минимальным искажением полезной части. Большинство методов низкочастотной фильтрации используют то или иное сглаживание сигнала, приводящее к искажению небольших (но часто наиболее важных) особенностей сигнала. Вероятностная фильтрация, основанная на подсчете правдоподобия появления точки в сигнале, позволяет избежать этого недостатка. Фрагменты сигнала, идентифицированные как помехи, исключаются из рассмотрения, а сигнал достраивается методами интерполяции. Незашумленные участки сигнала остаются без изменений, что позволяет вести обработку его локальных особенностей. Этот метод был разработан и успешно применен для определения наркотического опьянения по пупиллограммам (сигналам, показывающим изменение размера зрачка после вспышки света). Работа выполнялась совместно с корпорацией «Iritech inc.», любезно позволившей опубликовать часть полученных результатов.
Оценка максимально достижимого уровня правильного распознавания. Это одно из направлений моих будущих исследований. Пока есть, увы, лишь концептуальные основы дальнейшей работы. По-видимому, для каждой задачи распознавания образов существует некоторый максимально возможный уровень правильного распознавания. Нельзя прыгнуть выше головы. Если признаки недостаточно информативны, то мы принципиально (по крайней мере, не задействовав дополнительных предположений) не можем получить стопроцентное качество классификации произвольных объектов, взятых из генеральной совокупности. Простой пример: нельзя безошибочно разделить две нормальные одномерные совокупности с математическими ожиданиями 0 и 2 и единичной дисперсией. Максимально достижимый процент правильной классификации составляет немногим более 84%. К сожалению, статистические методы требуют наличия большого числа предположений, которые сложно проверить в условиях малых выборок, большого количества признаков и т.п. Вместе с тем, практический опыт показывает, что использование достаточно богатых семейств классификаторов различной природы приводит к примерно одному и тому же уровню ошибок. Это является косвенным подтверждением того, что для любой задачи распознавания можно оценить примерный уровень безошибочной классификации независимо от тех алгоритмов, которые будут использованы. Я думаю, здесь могут помочь методы теории информации. Если у Вас есть какие-то соображения по этому поводу, я буду очень признателен, если Вы поделитесь ими.
