МЕТОД ОТБРАКОВКИ АНОМАЛЬНЫХ НАБЛЮДЕНИЙ - Scientific conference

Congratulation from Internet Conference!

Hello

Рік заснування видання - 2011

МЕТОД ОТБРАКОВКИ АНОМАЛЬНЫХ НАБЛЮДЕНИЙ

20.01.2022 22:14

[1. Information systems and technologies]

Author: Софронова М.С., кандидат фізико-математичних наук, доцент, кафедра вищої математики, доцент, Національний технічний університет «Харківський політехнічний iнститут», м. Харків


В любой сфере человеческой деятельности главная управленческая задача – своевременно принять правильное решение, так как неудачное, плохое решение может иметь непоправимые последствия. Принятие решений в экономических системах – довольно сложный и ответственный процесс, требующий количественной оценки исходов решений. Чтобы найти приемлемое решение следует определить цель решения, возможные варианты достижения цели, просчитать возможные исходы каждого решения и оценить их, выбрать оптимальное, т.е. наилучшее решение – лучший способ достижения цели. Часто при нахождении таких решений моделируются задачи с использованием математических понятий и методов. Нередко информация (наблюдения), на основании которой принимается решение, содержит ошибки – аномальные наблюдения (выбросы). Выявление таких ошибок является актуальным при подготовке результатов статистического процесса, предназначенного для принятия решений. Присутствие выбросов может искажать базовые характеристики совокупности или выборки, поскольку при вычислении оценок параметров вероятностных распределений наличие в выборке аномальных (т.е. значительно увеличивающих доверительный интервал) наблюдений способно исказить результаты статистического исследования, а, следовательно, и основной задачи. Выявление выбросов на разных этапах обработки данных позволяет выявить ошибки наблюдения и даже фиктивные данные, а их устранение – предотвратить неэффективное управленческое решение. 

Среди причин появления выбросов можно выделить следующие: ошибки в данных (неточности измерения и т.п.), наличие шумовых объектов (неверно классифицированных объектов), присутствие объектов «других» выборок (например, показаниями сломавшегося датчика) и т.д.

В работе предлагается подход к отбраковке аномальных наблюдений, являющийся комбинацией геометрических и статистических методов. Множеству данных (наблюдений) ставится в соответствие множество точек А п-мерного пространства. На конечном точечном множестве А строится последовательность вложенных выпуклых оболочек [1]. Заметим, что п-мерная выпуклая оболочка – это п-мерный выпуклый политом (п-политоп) согласно теореме McMullen, Shephard [2]. Каждый п-политоп описывается набором ориентированных гиперплоскостей. Согласно процедуре Тьюки [3], исключение аномальных наблюдений соответствует последовательному удалению граничных точек вложенных выпуклых оболочек. Процедура удаления прекращается при выполнении условий, основанных на оценке Гествирта [4]. 

В результате разработан оперативный метод отбраковки аномальных наблюдений. Предложенный метод не требует больших вычислительных затрат и может широко использоваться при решении как теоретических, так и практических задач, связанных с обработкой многомерных данных.

Главные особенности разработанного метода заключаются в следующем: начальная задача сводится к статистической, которая в свою очередь – к геометрической; нахождение и исключение аномальных вариант происходит через построение последовательности вложенных выпуклых оболочек – п-политопов, которые описываются наборами граничных точек и гиперплоскостей, что уменьшает временную сложность нахождения п-политопа (а значит, и выпуклой оболочки); вычисление оценок параметров вероятностного распределения (т.е. проведение анализа данных) осуществляется на отсортированных вариантах.

Литература:

1. Гиль Н. И., Софронова М. С. Об одном подходе к построению выпуклой оболочки конечного множества точек в   // Штучний інтелект. – 2009. – № 4 – С. 30 – 36.

2. McMullen P., Shephard G. Convex Polytopes and the Upper Bound Conjecture. – Cambridge: University Press, 1971.

3. Tukey J. W. A survey of sampling from contaminated distributions. Contributions to probability and statistics. 1960, vol. 2, рр. 448–485.

4. Gastwirth J. On robust procedures. J. Amer. Stat. Assn. 1966, рр. 929–948. 




Ця стаття ліцензується відповідно до Creative Commons Attribution-NonCommercial 4.0 International License.

Creative Commons Attribution Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
допомога Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter
Сonferences

Conference 2024

Conference 2023

Conference 2022

Conference 2021



Міжнародна інтернет-конференція з економіки, інформаційних систем і технологій, психології та педагогіки

Наукова спільнота - інтернет конференції

:: LEX-LINE :: Юридична лінія

Інформаційне суспільство: технологічні, економічні та технічні аспекти становлення