Analysis of memory management on GPUs
Analyse de la gestion mémoire sur GPUs
Résumé
Modern workloads increasingly rely on GPU acceleration. A wellknown performance bottleneck in this context is the warm-up effect, typically observed on the first memory copy call. Our analysis confirms this behavior for large data sizes (above 2 MB), where the initial transfer is notably slower. However, for smaller data sizes, the first call can be faster than subsequent ones, and in some cases, particularly involving memory allocations, the warm-up shifts to the second call. These findings offer new insights into the nuanced behavior of GPU memory instructions and help explain irregular warm-up patterns. By shedding light on these mechanisms, our work supports the development of more efficient and predictable GPU programming strategies.
Les charges de travail modernes s'appuient de plus en plus sur l'accélération GPU. Dans ce contexte, l'effet de préchauffage, généralement observé lors du premier appel de copie de mémoire, constitue un goulot d'étranglement bien connu en termes de performances. Notre analyse confirme ce comportement pour les données volumineuses (supérieures à 2 Mo), où le transfert initial est nettement plus lent. Cependant, pour les données de plus petite taille, le premier appel peut être plus rapide que les suivants et, dans certains cas, notamment ceux impliquant des allocations de mémoire, le réchauffement se déplace vers le deuxième appel. Ces résultats offrent de nouvelles perspectives sur le comportement nuancé des instructions mémoire GPU et aident à expliquer les modèles de réchauffement irréguliers. En mettant en lumière ces mécanismes, nos travaux soutiennent le développement de stratégies de programmation GPU plus efficaces et plus prévisibles.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |