Mixed precision iterative refinement for the solution of large sparse linear systems
Raffinement itératif en précision mixte pour la résolution de systèmes linéaires creux de grande taille
Résumé
The increasing availability of very low precisions (tfloat32, fp16, bfloat16, fp8) in hardware pushes modern high performance computing to embrace mixed precision standards. By employing mostly low precision and by making wise use of high precision, mixed precision algorithms can leverage the low precision advantages while preserving the quality of the computed solution. Mixed precision iterative refinement is one of the oldest and most famous representatives of these algorithms; this method was shown to be very effective in reducing the resource consumption of linear solvers while delivering accurate solutions in a robust way.This thesis is dedicated to investigating the use of this algorithm for the solution of large sparse linear systems. We structure the document as follows.Our first concern is to provide a comprehensive understanding of iterative refinement. This part of our work covers a survey listing the different research studies on this algorithm that explains its evolutions throughout time and a technical description of a selected set of state-of-the-art iterative refinement algorithms.Then, we focus on improving sparse direct solvers with iterative refinement. We proceed in two steps. First, we relax restrictive requirements on the LU-GMRES-IR3 algorithm, which is a form of iterative refinement capable of handling inaccurate factorizations for ill-conditioned problems. It leads us to propose the LU-GMRES-IR5 algorithm that has five independent precision parameters and is more suited to the solution of large sparse systems. Second, we address the parallel implementation of state-of-the-art iterative refinement algorithms combined with state-of-the-art approximate sparse factorizations to solve real-life problems from academic and industrial applications. Our performance study demonstrates significant reductions in time and memory with respect to a standard sparse direct solver in double precision.Finally, we use iterative refinement to improve sparse iterative solvers. We develop an analysis for a new mixed precision preconditioned GMRES (M-GMRES-IR6) that aims at covering previous existing implementations that are not yet covered by an analysis and at proposing a new mixed precision strategy based on the application of the preconditioner in a lower precision than the application of the original matrix A. Our numerical results pave the way towards promising resource savings for parallel implementations of GMRES.
L'accessibilité grandissante des arithmétiques à précision faible (tfloat32, fp16, bfloat16, fp8) dans les calculateurs encourage le calcul à hautes performances à se tourner vers la précision mixte. En employant principalement des précisions faibles tout en faisant un usage intelligent de précisions hautes, les algorithmes de précision mixte sont capables d'exploiter les bénéfices des précisions faibles tout en préservant la qualité de la solution calculée. Le raffinement itératif est un des plus vieux et des plus célèbres représentants de cette classe d'algorithme; il est capable de réduire efficacement la consommation de ressource des solveurs linéaires tout en conservant la robustesse et la qualité de la solution. Cette thèse est dédiée à étudier l'utilisation de cet algorithme pour la résolution de systèmes linéaires creux. Elle est architecturée de la façon suivante. Dans un premier temps nous nous intéressons à produire un récapitulatif complet sur les algorithmes de raffinement itératif. Cela couvre une liste des différentes études de recherche sur le sujet au travers du temps, et une description technique de certains de ces algorithmes les plus à la pointe. Dans un second temps nous nous intéressons à l'amélioration des solveurs directs creux à l'aide du raffinement itératif. Nous procédons en deux étapes. D'abord nous relaxons des conditions restrictives de l'algorithme LU-GMRES-IR3 qui est une forme de raffinement itératif capable de traiter des factorisations peu précises pour des problèmes mal conditionnés. Pour ce faire, nous proposons l'algorithme LU-GMRES-IR5 utilisant cinq précisions indépendantes. Ensuite, nous abordons l'implémentation parallèle de raffinement itératifs combinés avec des factorisations creuses approximées pour la résolution de problèmes industrielles. Notre étude de performance démontre que ces approches nous permettent d'obtenir des réductions importantes de la consommation en temps et en mémoire. Finalement, nous nous intéressons à l'amélioration des solveurs itératifs creux. Nous développons une analyse pour un nouvel algorithme de GMRES préconditionné en précision mixte (M-GMRES-IR6), cette analyse aspire en particulier à couvrir des implémentations existantes de GMRES et à proposer une nouvelle stratégie de précision mixte consistant à appliquer le préconditionneur dans une précision plus basse que le produit matrice--vecteur. Nos résultats numériques ouvrent la voie à des implémentations parallèles de GMRES plus économes en temps et en mémoire.
| Origine | Version validée par le jury (STAR) |
|---|