L’une des questions les plus importante de l’astronomie est l’existence d’une forme de vie extraterrestre. Et malgré les efforts et théories remontant jusqu’au 16e siècle, pour la science l’univers reste terriblement silencieux et vide. La recherche moderne de la vie extra-terrestre a recommencé en 1995 avec la découverte de la première exoplanète 51Peg b. Il a fallu une décennie de plus pour enfin détecter la lumière directe d’exoplanètes et pouvoir commencer à y étudier la présence de biomarqueurs. Cette avancée a été permise par la génération des ‘très grand télescopes’ (miroirs de 6 à 10m) et leurs instruments, en particulier les avancées de l’optique adaptative. L’optique adaptative est une méthode permettant de mesurer la turbulence atmosphérique grâce a un senseur de front d’onde. Puis grâce à un miroir déformable on compense cette turbulence atmosphérique. Cette étape permet de concentrer la lumière de l’étoile, facilitant sa suppression pour rendre visible les objets proches de l’étoile comme les exoplanètes (on parle de coronographie). La nouvelle génération de télescope ‘extrêmement grands’ en cours de construction (ELT, TMT et GMT, miroir de 39 à 29m) devrait augmenter le nombre d’exoplanètes directement observable grâce à leur taille si l’optique adaptative permet de bien corriger l‘atmosphère. Les instruments de ces téléscopes sont en phase de conception et les simulations ont révélé un nouveau type de défaut, le mode pétale. Ce mode apparait à cause de la complexité des télescopes géant, la pupille du télescope se trouvant séparée en plusieurs fragments. L’optique adaptative traite ces fragments comme des zones indépendantes, qui se trouvent déphasées les unes des autres. Cela réduit la taille effective de la pupille pour ce qui est de la résolution non pas à la taille de l’ensemble de la pupille, mais a la taille d’un de ces fragments de pupille. Pour l’ELT cela signifie que la résolution finale serait celle d’un télescope de 15m et pas de 40m. L’objectif de cette thèse est d’étudier le mode pétale, en particulier ses causes dans l’optique adaptative, et de proposer des solutions. Une première étude approfondie du senseur d’optique adaptative des télescopes géants, le senseur pyramide, a été conduite pour montrer dans quelles conditions ce senseur devenait insensible au mode pétale. Ce senseur a besoin d’une étape de modulation pour étendre la dynamique de mesure et la rendre compatible avec la mesure de la turbulence atmosphérique. Cette étape de modulation est incompatible avec la mesure du mode pétale car elle concentre la lumière sous les araignées, les structures séparant la pupille en fragments et où donc aucune lumière ne permet de mesurer ce mode. A cause de cet effet de la modulation, ce senseur n’est pas capable de mesurer la turbulence atmosphérique et le mode pétale en même temps. Pour quand même être capable de mesurer le mode pétale il est proposé de se servir de deux senseurs, l’un dédié à l’atmosphère et l’autre a la mesure du pétale. Forts de l’étude de la pyramide nous avons étudié dans quelles conditions (en particulier l’absence de modulation) la pyramide pourrait être utilisé comme senseur de pétale. Cela a donné naissances à plusieurs pyramides modifiées pour faciliter la mesure du mode pétale : l’ajout d’une étape de filtrage spatial pour réduire les effets de la turbulence résiduelle, et une asymétrisation de la pyramide pour augmenter la réponse à ce signal. Les différents senseurs proposés ont été testés en simulation, et se sont montré satisfaisants pour les conditions médianes de l’ELT. Le peu de modes à contrôler avec ce senseur dédié implique qu’il ne devrait pas nécessiter beaucoup de photons pour fonctionner. Ainsi malgré l’augmentation du nombre de senseurs la magnitude minimum devrait être peu impactée. Les solutions proposées devrait donc corriger les effets du mode pétale et restaurer la résolution attendue d’un miroir de 39m pour l’ELT.