FDR control for Online Anomaly Detection
Contrôle du FDR pour la détection d'anomalies online
Résumé
A new online multiple testing procedure is described in the context of anomaly detection, which controls the False Discovery Rate (FDR). An accurate anomaly detector must control the false positive rate at a prescribed level while keeping the false negative rate as low as possible. However in the online context, such a constraint remains highly challenging due to the usual lack of FDR control: the online framework makes it impossible to use classical multiple testing approaches such as the Benjamini-Hochberg (BH) procedure, which would require knowing the entire time series. The developed strategy relies on exploiting the local control of the “modified FDR” (mFDR) criterion. It turns out that the local control of mFDR enables global control of the FDR over the full series up to additional modifications of the multiple testing procedures. An important ingredient in this control is the cardinality of the calibration dataset used to compute the empirical p-values. A dedicated strategy for tuning this parameter is designed for achieving the prescribed FDR control over the entire time series. The good statistical performance of the full strategy is analyzed by theoretical guarantees. Its practical behavior is assessed by several simulation experiments which support our conclusions.
Une nouvelle procédure de test multiple en ligne est décrite dans le contexte de la détection d'anomalies, afin de contrôler le taux de fausse découverte (FDR). Un détecteur d'anomalies précis doit contrôler le taux de faux positifs à un niveau prescrit tout en maintenant le taux de faux négatifs aussi bas que possible. Toutefois, dans le contexte en ligne, une telle contrainte reste très difficile à respecter en raison de l'absence de contrôle du FDR : le cadre en ligne rend impossible l'utilisation d'approches classiques de tests multiples telles que la procédure de Benjamini-Hochberg (BH), qui nécessiterait de connaître l'ensemble de la série temporelle. La stratégie développée repose sur l'exploitation du contrôle local du critère « FDR modifié » (mFDR). Il s'avère que le contrôle local du mFDR permet un contrôle global du FDR sur l'ensemble de la série jusqu'à des modifications supplémentaires des procédures de tests multiples. Un ingrédient important de ce contrôle est la cardinalité de l'ensemble de données d'étalonnage utilisé pour calculer les p-valeurs empiriques. Une stratégie spécifique de réglage de ce paramètre est conçue pour atteindre le contrôle FDR prescrit sur l'ensemble de la série temporelle. La bonne performance statistique de la stratégie complète est analysée par des garanties théoriques. Son comportement pratique est évalué par plusieurs expériences de simulation qui soutiennent nos conclusions.
Domaines
Statistiques [math.ST]
Fichier principal
article1.pdf (1.91 Mo)
Télécharger le fichier
article1-supplements.pdf (1.2 Mo)
Télécharger le fichier
Origine | Fichiers produits par l'(les) auteur(s) |
---|