Detección de datos multivariados atípicos con series finitas de Fourier

Abstract

La presencia de observaciones atípicas en un conjunto de datos es una de las causas que generan distorsiones en el análisis. La detección de dichas observaciones puede ayudar a una correcta evaluación de las tendencias en el comportamiento de los datos. Para el caso de datos multivariados se han desarrollado diversos métodos que permiten la detección de comportamientos atípicos, basados en métodos gráficos, y otros asumiendo una distribución normal multivariada. No obstante, en muchos casos el supuesto de normalidad multivariada no se cumple. El presente trabajo propone una prueba no paramétrica basada en la aplicación del método Bootstrap, utilizando como indicador de similitud a las distancias entre las representaciones obtenidas con series finitas de Fourier, propuesta por Andrews. El método propuesto permite detectar datos multivariados atípicos, combinando la significación estadística de la prueba Bootstrap y el análisis gráfico sugerido por Andrews, y que puede ser también aplicado a datos medidos en una escala ordinal. El método fue aplicado a cuatro conjuntos de datos, encontrando resultados satisfactorios en todos los casos.

The presence of atypical observations in a dataset is one of the causes that generate distortions in the analysis. The detection of these observations can help to evaluate the trends in the behavior of the data.In the case of multivariate data several methods have been developed that allow the detection of atypical behaviors, based on graphical methods, and others assuming a normal multivariate distribution. However, in many cases the assumption of multivariate normalcy is not fulfilled. This paper proposes a non-parametric test based on the application of Bootstrap method, using as an indicator of similarity to the distances between the representations obtained with finite series of Fourier, proposed by Andrews. The proposed method allows the detection of atypical multivariate data, combining the statistical significance of the Bootstrap test and the graphical analysis suggested by Andrews, which can be applied to data measured on an ordinal scale. The method was applied to four sets of data, finding satisfactory results in all cases.