Reproducibility Study on Adversarial Attacks Against Robust Transformer Trackers
Étude de reproductibilité sur les attaques adversariales contre les systèmes de suivi robustes à transformateur
Résumé
New transformer networks have been integrated into object tracking pipelines and have demonstrated strong performance on the latest benchmarks. This paper focuses on understanding how transformer trackers behave under adversarial attacks and how different attacks perform on tracking datasets as their parameters change. We conducted a series of experiments to evaluate the effectiveness of existing adversarial attacks on object trackers with transformer and non-transformer backbones. We experimented on 7 different trackers, including 3 that are transformer-based, and 4 which leverage other architectures. These trackers are tested against 4 recent attack methods to assess their performance and robustness on VOT2022ST, UAV123 and GOT10k datasets. Our empirical study focuses on evaluating adversarial robustness of object trackers based on bounding box versus binary mask predictions, and attack methods at different levels of perturbations. Interestingly, our study found that altering the perturbation level may not significantly affect the overall object tracking results after the attack. Similarly, the sparsity and imperceptibility of the attack perturbations may remain stable against perturbation level shifts. By applying a specific attack on all transformer trackers, we show that new transformer trackers having a stronger cross-attention modeling achieve a greater adversarial robustness on tracking datasets, such as VOT2022ST and GOT10k. Our results also indicate the necessity for new attack methods to effectively tackle the latest types of transformer trackers. The codes necessary to reproduce this study are available at https://github.com/fatemehN/ReproducibilityStudy.
De nouveaux réseaux de transformateurs ont été intégrés dans les pipelines de suivi d'objets et ont démontré de solides performances sur les derniers benchmarks. Cet article se concentre sur la compréhension du comportement des systèmes de suivi à transformateur sous des attaques adversariales et sur la performance de différentes attaques sur des ensembles de données de suivi à mesure que leurs paramètres changent. Nous avons mené une série d'expériences pour évaluer l'efficacité des attaques adversariales existantes sur les systèmes de suivi d'objets avec des architectures à base de transformateurs et non-transformateurs. Nous avons expérimenté sur 7 systèmes de suivi différents, dont 3 sont basés sur des transformateurs et 4 qui utilisent d'autres architectures. Ces systèmes de suivi sont testés contre 4 méthodes d'attaque récentes pour évaluer leur performance et leur robustesse sur les ensembles de données VOT2022ST, UAV123 et GOT10k. Notre étude empirique se concentre sur l'évaluation de la robustesse adversariale des systèmes de suivi d'objets basés sur les prédictions de boîtes englobantes versus les masques binaires, et des méthodes d'attaque à différents niveaux de perturbations. Fait intéressant, notre étude a révélé que la modification du niveau de perturbation ne peut pas affecter significativement les résultats globaux du suivi d'objets après l'attaque. De même, la rareté et l'imperceptibilité des perturbations de l'attaque peuvent rester stables face aux changements de niveau de perturbation. En appliquant une attaque spécifique à tous les systèmes de suivi à transformateur, nous montrons que les nouveaux systèmes de suivi à transformateur ayant un modèle de cross-attention plus fort atteignent une plus grande robustesse adversariale sur les ensembles de données de suivi, tels que VOT2022ST et GOT10k. Nos résultats indiquent également la nécessité de nouvelles méthodes d'attaque pour aborder efficacement les derniers types de systèmes de suivi à transformateur. Les codes nécessaires pour reproduire cette étude sont disponibles à l'adresse https://github.com/fatemehN/ReproducibilityStudy."
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
