Autoencoder-based Anomaly Detection System for Online Data Quality Monitoring of the CMS Electromagnetic Calorimeter
D Abadjiev
,
T Adams
,
P Adzic
,
M Ahmad
,
C Amendola
(1)
,
M.B Andrews
,
R Arcidiacono
,
S Argiro
,
A Askew
,
E Auffray
,
V Azzolini
,
D Bailleux
,
R Band
,
D Barney
,
P Barria
,
N Bartosik
,
C Basile
,
D Bastos
,
K.W Bell
,
M Besancon
(1)
,
R Bianco
,
C Biino
,
V Blinov
,
C Borca
,
A Bornheim
,
R.M Brown
,
M Campana
,
S Castells
,
F Cavallari
,
F Cetorelli
,
R.M Chatterjee
,
S Chatterjee
,
G Chaudhary
,
J.A Chen
,
N Chernyavskaya
,
H Chung
,
M Cipriani
,
L Cokic
,
C Cooke
,
F Cossio
,
F Couderc
(1)
,
D Cristoforetti
,
G Cucciati
,
L Cunqueiro Mendez
,
D da Silva Di Calafiori
,
I Dafinei
,
D.J.A Cockerill
,
M Dejardin
(1)
,
D del Re
,
G Della Ricca
,
P Depasse
(2)
,
J Dervan
,
E Di Marco
,
M Diemoz
,
T Dimova
,
G Dissertori
,
M Dittmar
,
A Dolgopolov
,
M Donegà
,
M Dordevic
,
H El Mamouni
(2)
,
F Errico
,
F Espinosa
,
J.L Faure
(1)
,
J Fay
(2)
,
J Fernandez Menendez
,
F Ferri
(1)
,
L Finco
,
F Fiori
,
E Frahm
,
W Funk
,
T Gadek
,
J Gajownik
,
M Galli
,
S Ganjour
(1)
,
S Gascon
(2)
,
A Ghezzi
,
P Ghose
,
S Gninenko
,
S Goadhouse
,
N Godinovic
,
N Golubev
,
P Govoni
,
P Gras
(1)
,
J Hakala
,
G Hamel de Monchenault
(1)
,
N Härringer
,
R Hashmi
,
H.F Heath
,
R Hirosky
,
K.W Ho
,
X Hou
,
Q Ingram
,
Sh Jain
,
T Javaid
,
C Jessop
,
R Jimènez
,
B.M Joshi
,
E Jourd'Hui
(2)
,
K Kaadze
,
Y.-W Kao
,
L Kardapoltsev
,
R Khurana
,
J King
,
A Kirilovas
,
D Konstantinov
,
M Kovac
,
A Krishna
,
C.M Kuo
,
L Lambrecht
,
G Lavizzari
,
P Lecoq
,
A Ledovskoy
,
F Legger
,
D Lelas
,
Y.Y Li
,
Z Liang
,
W Lin
,
E Longo
,
N Loukas
,
R.-S Lu
,
W Lustermann
,
L Lutton
,
A.-M Lyon
,
K Maeshima
,
J Malcles
(1)
,
P Mandrik
,
R.A Manzoni
,
L Marchese
,
N Marinelli
,
A.C Marini
,
L Martin
,
B Marzocchi
,
A Mascellani
,
A Massironi
,
V Matveev
,
G Mazza
,
P Meridiani
,
M Mijic
,
J Mijuskovic
(1)
,
P Milenovic
,
J Milosevic
,
M Monteno
,
F Monti
,
F Moortgat
,
J Mousa
,
T Mudholkar
,
F Nessi-Tedaldi
,
C Nicolaou
,
A Nigamova
,
M.M Obertino
,
G Organtini
,
T Orimoto
,
F Orlandi
,
I Ovtin
,
E Paganis
,
D Papagiannis
,
F Pandolfi
,
R Paramatti
,
K Park
,
N Pastrone
,
M Paulini
,
F Pauss
,
A Petkovic
,
E Petraityte
,
V Pettinacci
,
D Petyt
,
S Pigazzini
,
B.S Pinolini
,
P.R Prova
,
C Quaranta
,
S Ragazzi
,
S Rahatlou
,
J.C Rasteiro da Silva
,
P.A Razis
,
P Rebello Teles
,
T Reis
,
F Riti
,
C Rogan
,
T Romanteau
(3)
,
A Rosowsky
(1)
,
C Rovelli
,
M Rovere
,
R Rusack
,
G Salvi
,
O Sancar
,
A Sanchez
,
C Sandever
,
F Santanastasio
,
R Saradhy
,
U Sarkar
(3)
,
M Schneider
,
N Schroeder
,
A Sculac
,
T Sculac
,
M.A Shahzad
,
C.H Shepherd-Themistocleous
,
P Simkina
(1)
,
A Singla
,
A Singovsky
,
Y Skovpen
,
V.J Smith
,
L Soffi
,
K Stachon
,
A Steen
,
J Steggemann
,
M Succar
,
J Tao
,
A Tishelman-Charny
,
P.C Tiwari
,
M Tornago
,
R Tramontano
,
L.-S Tsai
,
E Usai
,
D Valsecchi
,
A Vagnerini
,
J Varela
,
R Venditti
,
P.V Verma
,
E Vlassov
,
V Wachirapusitanand
,
T Wamorkar
,
C Wang
,
J Wang
,
M.A Wadud
,
S.S Yu
,
A Zabi
(3)
,
A Zghiche
(3)
,
L Zhang
,
R.Y Zhu
,
L Zygala
D Abadjiev
- Fonction : Auteur
T Adams
- Fonction : Auteur
P Adzic
- Fonction : Auteur
M Ahmad
- Fonction : Auteur
M.B Andrews
- Fonction : Auteur
R Arcidiacono
- Fonction : Auteur
S Argiro
- Fonction : Auteur
A Askew
- Fonction : Auteur
E Auffray
- Fonction : Auteur
V Azzolini
- Fonction : Auteur
D Bailleux
- Fonction : Auteur
R Band
- Fonction : Auteur
D Barney
- Fonction : Auteur
P Barria
- Fonction : Auteur
N Bartosik
- Fonction : Auteur
C Basile
- Fonction : Auteur
D Bastos
- Fonction : Auteur
K.W Bell
- Fonction : Auteur
R Bianco
- Fonction : Auteur
C Biino
- Fonction : Auteur
V Blinov
- Fonction : Auteur
C Borca
- Fonction : Auteur
A Bornheim
- Fonction : Auteur
R.M Brown
- Fonction : Auteur
M Campana
- Fonction : Auteur
S Castells
- Fonction : Auteur
F Cavallari
- Fonction : Auteur
F Cetorelli
- Fonction : Auteur
R.M Chatterjee
- Fonction : Auteur
S Chatterjee
- Fonction : Auteur
G Chaudhary
- Fonction : Auteur
J.A Chen
- Fonction : Auteur
N Chernyavskaya
- Fonction : Auteur
H Chung
- Fonction : Auteur
M Cipriani
- Fonction : Auteur
L Cokic
- Fonction : Auteur
C Cooke
- Fonction : Auteur
F Cossio
- Fonction : Auteur
D Cristoforetti
- Fonction : Auteur
G Cucciati
- Fonction : Auteur
L Cunqueiro Mendez
- Fonction : Auteur
D da Silva Di Calafiori
- Fonction : Auteur
I Dafinei
- Fonction : Auteur
D.J.A Cockerill
- Fonction : Auteur
D del Re
- Fonction : Auteur
G Della Ricca
- Fonction : Auteur
J Dervan
- Fonction : Auteur
E Di Marco
- Fonction : Auteur
M Diemoz
- Fonction : Auteur
T Dimova
- Fonction : Auteur
G Dissertori
- Fonction : Auteur
M Dittmar
- Fonction : Auteur
A Dolgopolov
- Fonction : Auteur
M Donegà
- Fonction : Auteur
M Dordevic
- Fonction : Auteur
F Errico
- Fonction : Auteur
F Espinosa
- Fonction : Auteur
J Fernandez Menendez
- Fonction : Auteur
L Finco
- Fonction : Auteur
F Fiori
- Fonction : Auteur
E Frahm
- Fonction : Auteur
W Funk
- Fonction : Auteur
T Gadek
- Fonction : Auteur
J Gajownik
- Fonction : Auteur
M Galli
- Fonction : Auteur
A Ghezzi
- Fonction : Auteur
P Ghose
- Fonction : Auteur
S Gninenko
- Fonction : Auteur
S Goadhouse
- Fonction : Auteur
N Godinovic
- Fonction : Auteur
N Golubev
- Fonction : Auteur
P Govoni
- Fonction : Auteur
J Hakala
- Fonction : Auteur
N Härringer
- Fonction : Auteur
R Hashmi
- Fonction : Auteur
H.F Heath
- Fonction : Auteur
R Hirosky
- Fonction : Auteur
K.W Ho
- Fonction : Auteur
X Hou
- Fonction : Auteur
Q Ingram
- Fonction : Auteur
Sh Jain
- Fonction : Auteur
T Javaid
- Fonction : Auteur
C Jessop
- Fonction : Auteur
R Jimènez
- Fonction : Auteur
B.M Joshi
- Fonction : Auteur
K Kaadze
- Fonction : Auteur
Y.-W Kao
- Fonction : Auteur
L Kardapoltsev
- Fonction : Auteur
R Khurana
- Fonction : Auteur
J King
- Fonction : Auteur
A Kirilovas
- Fonction : Auteur
D Konstantinov
- Fonction : Auteur
M Kovac
- Fonction : Auteur
A Krishna
- Fonction : Auteur
C.M Kuo
- Fonction : Auteur
L Lambrecht
- Fonction : Auteur
G Lavizzari
- Fonction : Auteur
P Lecoq
- Fonction : Auteur
A Ledovskoy
- Fonction : Auteur
F Legger
- Fonction : Auteur
D Lelas
- Fonction : Auteur
Y.Y Li
- Fonction : Auteur
Z Liang
- Fonction : Auteur
W Lin
- Fonction : Auteur
E Longo
- Fonction : Auteur
N Loukas
- Fonction : Auteur
R.-S Lu
- Fonction : Auteur
W Lustermann
- Fonction : Auteur
L Lutton
- Fonction : Auteur
A.-M Lyon
- Fonction : Auteur
K Maeshima
- Fonction : Auteur
P Mandrik
- Fonction : Auteur
R.A Manzoni
- Fonction : Auteur
L Marchese
- Fonction : Auteur
N Marinelli
- Fonction : Auteur
A.C Marini
- Fonction : Auteur
L Martin
- Fonction : Auteur
B Marzocchi
- Fonction : Auteur
A Mascellani
- Fonction : Auteur
A Massironi
- Fonction : Auteur
V Matveev
- Fonction : Auteur
G Mazza
- Fonction : Auteur
P Meridiani
- Fonction : Auteur
M Mijic
- Fonction : Auteur
P Milenovic
- Fonction : Auteur
J Milosevic
- Fonction : Auteur
M Monteno
- Fonction : Auteur
F Monti
- Fonction : Auteur
F Moortgat
- Fonction : Auteur
J Mousa
- Fonction : Auteur
T Mudholkar
- Fonction : Auteur
F Nessi-Tedaldi
- Fonction : Auteur
C Nicolaou
- Fonction : Auteur
A Nigamova
- Fonction : Auteur
M.M Obertino
- Fonction : Auteur
G Organtini
- Fonction : Auteur
T Orimoto
- Fonction : Auteur
F Orlandi
- Fonction : Auteur
I Ovtin
- Fonction : Auteur
E Paganis
- Fonction : Auteur
D Papagiannis
- Fonction : Auteur
F Pandolfi
- Fonction : Auteur
R Paramatti
- Fonction : Auteur
K Park
- Fonction : Auteur
N Pastrone
- Fonction : Auteur
M Paulini
- Fonction : Auteur
F Pauss
- Fonction : Auteur
A Petkovic
- Fonction : Auteur
E Petraityte
- Fonction : Auteur
V Pettinacci
- Fonction : Auteur
D Petyt
- Fonction : Auteur
S Pigazzini
- Fonction : Auteur
B.S Pinolini
- Fonction : Auteur
P.R Prova
- Fonction : Auteur
C Quaranta
- Fonction : Auteur
S Ragazzi
- Fonction : Auteur
S Rahatlou
- Fonction : Auteur
J.C Rasteiro da Silva
- Fonction : Auteur
P.A Razis
- Fonction : Auteur
P Rebello Teles
- Fonction : Auteur
T Reis
- Fonction : Auteur
F Riti
- Fonction : Auteur
C Rogan
- Fonction : Auteur
C Rovelli
- Fonction : Auteur
M Rovere
- Fonction : Auteur
R Rusack
- Fonction : Auteur
G Salvi
- Fonction : Auteur
O Sancar
- Fonction : Auteur
A Sanchez
- Fonction : Auteur
C Sandever
- Fonction : Auteur
F Santanastasio
- Fonction : Auteur
R Saradhy
- Fonction : Auteur
M Schneider
- Fonction : Auteur
N Schroeder
- Fonction : Auteur
A Sculac
- Fonction : Auteur
T Sculac
- Fonction : Auteur
M.A Shahzad
- Fonction : Auteur
C.H Shepherd-Themistocleous
- Fonction : Auteur
A Singla
- Fonction : Auteur
A Singovsky
- Fonction : Auteur
Y Skovpen
- Fonction : Auteur
V.J Smith
- Fonction : Auteur
L Soffi
- Fonction : Auteur
K Stachon
- Fonction : Auteur
A Steen
- Fonction : Auteur
J Steggemann
- Fonction : Auteur
M Succar
- Fonction : Auteur
J Tao
- Fonction : Auteur
A Tishelman-Charny
- Fonction : Auteur
P.C Tiwari
- Fonction : Auteur
M Tornago
- Fonction : Auteur
R Tramontano
- Fonction : Auteur
L.-S Tsai
- Fonction : Auteur
E Usai
- Fonction : Auteur
D Valsecchi
- Fonction : Auteur
A Vagnerini
- Fonction : Auteur
J Varela
- Fonction : Auteur
R Venditti
- Fonction : Auteur
P.V Verma
- Fonction : Auteur
E Vlassov
- Fonction : Auteur
V Wachirapusitanand
- Fonction : Auteur
T Wamorkar
- Fonction : Auteur
C Wang
- Fonction : Auteur
J Wang
- Fonction : Auteur
M.A Wadud
- Fonction : Auteur
S.S Yu
- Fonction : Auteur
L Zhang
- Fonction : Auteur
R.Y Zhu
- Fonction : Auteur
L Zygala
- Fonction : Auteur
Résumé
The CMS detector is a general-purpose apparatus that detects high-energy collisions produced at the LHC. Online Data Quality Monitoring of the CMS electromagnetic calorimeter is a vital operational tool that allows detector experts to quickly identify, localize, and diagnose a broad range of detector issues that could affect the quality of physics data. A real-time autoencoder-based anomaly detection system using semi-supervised machine learning is presented enabling the detection of anomalies in the CMS electromagnetic calorimeter data. A novel method is introduced which maximizes the anomaly detection performance by exploiting the time-dependent evolution of anomalies as well as spatial variations in the detector response. The autoencoder-based system is able to efficiently detect anomalies, while maintaining a very low false discovery rate. The performance of the system is validated with anomalies found in 2018 and 2022 LHC collision data. Additionally, the first results from deploying the autoencoder-based system in the CMS online Data Quality Monitoring workflow during the beginning of Run 3 of the LHC are presented, showing its ability to detect issues missed by the existing system.