Autoencoder-based Anomaly Detection System for Online Data Quality Monitoring of the CMS Electromagnetic Calorimeter - Archive ouverte HAL Accéder directement au contenu
Pré-Publication, Document De Travail Année : 2023

Autoencoder-based Anomaly Detection System for Online Data Quality Monitoring of the CMS Electromagnetic Calorimeter

D Abadjiev , T Adams , P Adzic , M Ahmad , C Amendola (1) , M.B Andrews , R Arcidiacono , S Argiro , A Askew , E Auffray , V Azzolini , D Bailleux , R Band , D Barney , P Barria , N Bartosik , C Basile , D Bastos , K.W Bell , M Besancon (1) , R Bianco , C Biino , V Blinov , C Borca , A Bornheim , R.M Brown , M Campana , S Castells , F Cavallari , F Cetorelli , R.M Chatterjee , S Chatterjee , G Chaudhary , J.A Chen , N Chernyavskaya , H Chung , M Cipriani , L Cokic , C Cooke , F Cossio , F Couderc (1) , D Cristoforetti , G Cucciati , L Cunqueiro Mendez , D da Silva Di Calafiori , I Dafinei , D.J.A Cockerill , M Dejardin (1) , D del Re , G Della Ricca , P Depasse (2) , J Dervan , E Di Marco , M Diemoz , T Dimova , G Dissertori , M Dittmar , A Dolgopolov , M Donegà , M Dordevic , H El Mamouni (2) , F Errico , F Espinosa , J.L Faure (1) , J Fay (2) , J Fernandez Menendez , F Ferri (1) , L Finco , F Fiori , E Frahm , W Funk , T Gadek , J Gajownik , M Galli , S Ganjour (1) , S Gascon (2) , A Ghezzi , P Ghose , S Gninenko , S Goadhouse , N Godinovic , N Golubev , P Govoni , P Gras (1) , J Hakala , G Hamel de Monchenault (1) , N Härringer , R Hashmi , H.F Heath , R Hirosky , K.W Ho , X Hou , Q Ingram , Sh Jain , T Javaid , C Jessop , R Jimènez , B.M Joshi , E Jourd'Hui (2) , K Kaadze , Y.-W Kao , L Kardapoltsev , R Khurana , J King , A Kirilovas , D Konstantinov , M Kovac , A Krishna , C.M Kuo , L Lambrecht , G Lavizzari , P Lecoq , A Ledovskoy , F Legger , D Lelas , Y.Y Li , Z Liang , W Lin , E Longo , N Loukas , R.-S Lu , W Lustermann , L Lutton , A.-M Lyon , K Maeshima , J Malcles (1) , P Mandrik , R.A Manzoni , L Marchese , N Marinelli , A.C Marini , L Martin , B Marzocchi , A Mascellani , A Massironi , V Matveev , G Mazza , P Meridiani , M Mijic , J Mijuskovic (1) , P Milenovic , J Milosevic , M Monteno , F Monti , F Moortgat , J Mousa , T Mudholkar , F Nessi-Tedaldi , C Nicolaou , A Nigamova , M.M Obertino , G Organtini , T Orimoto , F Orlandi , I Ovtin , E Paganis , D Papagiannis , F Pandolfi , R Paramatti , K Park , N Pastrone , M Paulini , F Pauss , A Petkovic , E Petraityte , V Pettinacci , D Petyt , S Pigazzini , B.S Pinolini , P.R Prova , C Quaranta , S Ragazzi , S Rahatlou , J.C Rasteiro da Silva , P.A Razis , P Rebello Teles , T Reis , F Riti , C Rogan , T Romanteau (3) , A Rosowsky (1) , C Rovelli , M Rovere , R Rusack , G Salvi , O Sancar , A Sanchez , C Sandever , F Santanastasio , R Saradhy , U Sarkar (3) , M Schneider , N Schroeder , A Sculac , T Sculac , M.A Shahzad , C.H Shepherd-Themistocleous , P Simkina (1) , A Singla , A Singovsky , Y Skovpen , V.J Smith , L Soffi , K Stachon , A Steen , J Steggemann , M Succar , J Tao , A Tishelman-Charny , P.C Tiwari , M Tornago , R Tramontano , L.-S Tsai , E Usai , D Valsecchi , A Vagnerini , J Varela , R Venditti , P.V Verma , E Vlassov , V Wachirapusitanand , T Wamorkar , C Wang , J Wang , M.A Wadud , S.S Yu , A Zabi (3) , A Zghiche (3) , L Zhang , R.Y Zhu , L Zygala
D Abadjiev
  • Fonction : Auteur
T Adams
  • Fonction : Auteur
P Adzic
  • Fonction : Auteur
M Ahmad
  • Fonction : Auteur
M.B Andrews
  • Fonction : Auteur
R Arcidiacono
  • Fonction : Auteur
S Argiro
  • Fonction : Auteur
A Askew
  • Fonction : Auteur
E Auffray
  • Fonction : Auteur
V Azzolini
  • Fonction : Auteur
D Bailleux
  • Fonction : Auteur
R Band
  • Fonction : Auteur
D Barney
  • Fonction : Auteur
P Barria
  • Fonction : Auteur
N Bartosik
  • Fonction : Auteur
C Basile
  • Fonction : Auteur
D Bastos
  • Fonction : Auteur
K.W Bell
  • Fonction : Auteur
R Bianco
  • Fonction : Auteur
C Biino
  • Fonction : Auteur
V Blinov
  • Fonction : Auteur
C Borca
  • Fonction : Auteur
A Bornheim
  • Fonction : Auteur
R.M Brown
  • Fonction : Auteur
M Campana
  • Fonction : Auteur
S Castells
  • Fonction : Auteur
F Cavallari
  • Fonction : Auteur
F Cetorelli
  • Fonction : Auteur
R.M Chatterjee
  • Fonction : Auteur
S Chatterjee
  • Fonction : Auteur
G Chaudhary
  • Fonction : Auteur
J.A Chen
  • Fonction : Auteur
N Chernyavskaya
  • Fonction : Auteur
H Chung
  • Fonction : Auteur
M Cipriani
  • Fonction : Auteur
L Cokic
  • Fonction : Auteur
C Cooke
  • Fonction : Auteur
F Cossio
  • Fonction : Auteur
D Cristoforetti
  • Fonction : Auteur
G Cucciati
  • Fonction : Auteur
L Cunqueiro Mendez
  • Fonction : Auteur
D da Silva Di Calafiori
  • Fonction : Auteur
I Dafinei
  • Fonction : Auteur
D.J.A Cockerill
  • Fonction : Auteur
D del Re
  • Fonction : Auteur
G Della Ricca
  • Fonction : Auteur
J Dervan
  • Fonction : Auteur
E Di Marco
  • Fonction : Auteur
M Diemoz
  • Fonction : Auteur
T Dimova
  • Fonction : Auteur
G Dissertori
  • Fonction : Auteur
M Dittmar
  • Fonction : Auteur
A Dolgopolov
  • Fonction : Auteur
M Donegà
  • Fonction : Auteur
M Dordevic
  • Fonction : Auteur
F Errico
  • Fonction : Auteur
F Espinosa
  • Fonction : Auteur
J Fernandez Menendez
  • Fonction : Auteur
L Finco
  • Fonction : Auteur
F Fiori
  • Fonction : Auteur
E Frahm
  • Fonction : Auteur
W Funk
  • Fonction : Auteur
T Gadek
  • Fonction : Auteur
J Gajownik
  • Fonction : Auteur
M Galli
  • Fonction : Auteur
A Ghezzi
  • Fonction : Auteur
P Ghose
  • Fonction : Auteur
S Gninenko
  • Fonction : Auteur
S Goadhouse
  • Fonction : Auteur
N Godinovic
  • Fonction : Auteur
N Golubev
  • Fonction : Auteur
P Govoni
  • Fonction : Auteur
J Hakala
  • Fonction : Auteur
N Härringer
  • Fonction : Auteur
R Hashmi
  • Fonction : Auteur
H.F Heath
  • Fonction : Auteur
R Hirosky
  • Fonction : Auteur
K.W Ho
  • Fonction : Auteur
X Hou
  • Fonction : Auteur
Q Ingram
  • Fonction : Auteur
Sh Jain
  • Fonction : Auteur
T Javaid
  • Fonction : Auteur
C Jessop
  • Fonction : Auteur
R Jimènez
  • Fonction : Auteur
B.M Joshi
  • Fonction : Auteur
K Kaadze
  • Fonction : Auteur
Y.-W Kao
  • Fonction : Auteur
L Kardapoltsev
  • Fonction : Auteur
R Khurana
  • Fonction : Auteur
J King
  • Fonction : Auteur
A Kirilovas
  • Fonction : Auteur
D Konstantinov
  • Fonction : Auteur
M Kovac
  • Fonction : Auteur
A Krishna
  • Fonction : Auteur
C.M Kuo
  • Fonction : Auteur
L Lambrecht
  • Fonction : Auteur
G Lavizzari
  • Fonction : Auteur
P Lecoq
  • Fonction : Auteur
A Ledovskoy
  • Fonction : Auteur
F Legger
  • Fonction : Auteur
D Lelas
  • Fonction : Auteur
Y.Y Li
  • Fonction : Auteur
Z Liang
  • Fonction : Auteur
W Lin
  • Fonction : Auteur
E Longo
  • Fonction : Auteur
N Loukas
  • Fonction : Auteur
R.-S Lu
  • Fonction : Auteur
W Lustermann
  • Fonction : Auteur
L Lutton
  • Fonction : Auteur
A.-M Lyon
  • Fonction : Auteur
K Maeshima
  • Fonction : Auteur
P Mandrik
  • Fonction : Auteur
R.A Manzoni
  • Fonction : Auteur
L Marchese
  • Fonction : Auteur
N Marinelli
  • Fonction : Auteur
A.C Marini
  • Fonction : Auteur
L Martin
  • Fonction : Auteur
B Marzocchi
  • Fonction : Auteur
A Mascellani
  • Fonction : Auteur
A Massironi
  • Fonction : Auteur
V Matveev
  • Fonction : Auteur
G Mazza
  • Fonction : Auteur
P Meridiani
  • Fonction : Auteur
M Mijic
  • Fonction : Auteur
P Milenovic
  • Fonction : Auteur
J Milosevic
  • Fonction : Auteur
M Monteno
  • Fonction : Auteur
F Monti
  • Fonction : Auteur
F Moortgat
  • Fonction : Auteur
J Mousa
  • Fonction : Auteur
T Mudholkar
  • Fonction : Auteur
F Nessi-Tedaldi
  • Fonction : Auteur
C Nicolaou
  • Fonction : Auteur
A Nigamova
  • Fonction : Auteur
M.M Obertino
  • Fonction : Auteur
G Organtini
  • Fonction : Auteur
T Orimoto
  • Fonction : Auteur
F Orlandi
  • Fonction : Auteur
I Ovtin
  • Fonction : Auteur
E Paganis
  • Fonction : Auteur
D Papagiannis
  • Fonction : Auteur
F Pandolfi
  • Fonction : Auteur
R Paramatti
  • Fonction : Auteur
K Park
  • Fonction : Auteur
N Pastrone
  • Fonction : Auteur
M Paulini
  • Fonction : Auteur
F Pauss
  • Fonction : Auteur
A Petkovic
  • Fonction : Auteur
E Petraityte
  • Fonction : Auteur
V Pettinacci
  • Fonction : Auteur
D Petyt
  • Fonction : Auteur
S Pigazzini
  • Fonction : Auteur
B.S Pinolini
  • Fonction : Auteur
P.R Prova
  • Fonction : Auteur
C Quaranta
  • Fonction : Auteur
S Ragazzi
  • Fonction : Auteur
S Rahatlou
  • Fonction : Auteur
J.C Rasteiro da Silva
  • Fonction : Auteur
P.A Razis
  • Fonction : Auteur
P Rebello Teles
  • Fonction : Auteur
T Reis
  • Fonction : Auteur
F Riti
  • Fonction : Auteur
C Rogan
  • Fonction : Auteur
C Rovelli
  • Fonction : Auteur
M Rovere
  • Fonction : Auteur
R Rusack
  • Fonction : Auteur
G Salvi
  • Fonction : Auteur
O Sancar
  • Fonction : Auteur
A Sanchez
  • Fonction : Auteur
C Sandever
  • Fonction : Auteur
F Santanastasio
  • Fonction : Auteur
R Saradhy
  • Fonction : Auteur
M Schneider
  • Fonction : Auteur
N Schroeder
  • Fonction : Auteur
A Sculac
  • Fonction : Auteur
T Sculac
  • Fonction : Auteur
M.A Shahzad
  • Fonction : Auteur
C.H Shepherd-Themistocleous
  • Fonction : Auteur
A Singla
  • Fonction : Auteur
A Singovsky
  • Fonction : Auteur
Y Skovpen
  • Fonction : Auteur
V.J Smith
  • Fonction : Auteur
L Soffi
  • Fonction : Auteur
K Stachon
  • Fonction : Auteur
A Steen
  • Fonction : Auteur
J Steggemann
  • Fonction : Auteur
M Succar
  • Fonction : Auteur
J Tao
  • Fonction : Auteur
A Tishelman-Charny
  • Fonction : Auteur
P.C Tiwari
  • Fonction : Auteur
M Tornago
  • Fonction : Auteur
R Tramontano
  • Fonction : Auteur
L.-S Tsai
  • Fonction : Auteur
E Usai
  • Fonction : Auteur
D Valsecchi
  • Fonction : Auteur
A Vagnerini
  • Fonction : Auteur
J Varela
  • Fonction : Auteur
R Venditti
  • Fonction : Auteur
P.V Verma
  • Fonction : Auteur
E Vlassov
  • Fonction : Auteur
V Wachirapusitanand
  • Fonction : Auteur
T Wamorkar
  • Fonction : Auteur
C Wang
  • Fonction : Auteur
J Wang
  • Fonction : Auteur
M.A Wadud
  • Fonction : Auteur
S.S Yu
  • Fonction : Auteur
L Zhang
  • Fonction : Auteur
R.Y Zhu
  • Fonction : Auteur
L Zygala
  • Fonction : Auteur

Résumé

The CMS detector is a general-purpose apparatus that detects high-energy collisions produced at the LHC. Online Data Quality Monitoring of the CMS electromagnetic calorimeter is a vital operational tool that allows detector experts to quickly identify, localize, and diagnose a broad range of detector issues that could affect the quality of physics data. A real-time autoencoder-based anomaly detection system using semi-supervised machine learning is presented enabling the detection of anomalies in the CMS electromagnetic calorimeter data. A novel method is introduced which maximizes the anomaly detection performance by exploiting the time-dependent evolution of anomalies as well as spatial variations in the detector response. The autoencoder-based system is able to efficiently detect anomalies, while maintaining a very low false discovery rate. The performance of the system is validated with anomalies found in 2018 and 2022 LHC collision data. Additionally, the first results from deploying the autoencoder-based system in the CMS online Data Quality Monitoring workflow during the beginning of Run 3 of the LHC are presented, showing its ability to detect issues missed by the existing system.

Dates et versions

hal-04239202 , version 1 (12-10-2023)

Identifiants

Citer

D Abadjiev, T Adams, P Adzic, M Ahmad, C Amendola, et al.. Autoencoder-based Anomaly Detection System for Online Data Quality Monitoring of the CMS Electromagnetic Calorimeter. 2023. ⟨hal-04239202⟩
21 Consultations
0 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More