Mon travail de thèse se place dans le contexte dynamique de la détection directe des compagnons de faible masse (naines brunes, planètes extrasolaires) dans le but de caractériser leurs propriétés physiques et chimiques et de comprendre leurs mécanismes de formation et d'évolution. Cette recherche requiert l'emploi de techniques d'observations à haut contraste et à haute résolution angulaire pour résoudre l'environnement proche des étoiles et ne pas être limité par leur flux. Dans ce cadre, j'ai eu la chance de participer à des campagnes d'observations pour tenter de détecter de nouvelles sources. J'ai élaboré un ensemble d'outils de traitement et d'analyse des données pour extraire les spectres et les flux des objets dans des bandes photométriques. Enfin, j'ai utilisé ces informations pour étudier les propriétés physiques (rayon, masse, âge) et atmosphériques (composition, température effective, gravité de surface) de ces objets. La première partie de ce manuscrit se focalise sur la détection par imagerie des compagnons de faible masse jeunes (< 100 millions d'années). Je décris un ensemble d'outils de réduction et d'analyse, spécifiques à la technique d'imagerie angulaire différentielle, que j'ai mis en place. Ces outils ont été utilisés sur des données provenant de l'instrument NaCo situé au Very Large Telescope (Chili). Ils ont permis de re-détecter la planète extrasolaire β Pictoris b. Ce compagnon est le plus proche de son étoile de toutes les exoplanètes détectées directement. Cette découverte fournit la preuve directe que des planètes géantes se forment en moins de 12 millions d'années à l'intérieur de disques. Je présente enfin l'analyse complémentaire que j'ai mené pour initier la caractérisation de cet objet particulier. Le second volet de mon travail, présenté dans la deuxième partie du manuscrit, est axé sur la détermination des propriétés spectroscopiques dans le proche infrarouge (1.1-2.5 µm) des objets de faible masse jeunes. Ce travail à débuté par l'optimisation et le développement d'outils de traitement et d'analyse des données du spectrographe intégral de champ SINFONI assisté par optique adaptative. Les efforts déployés ont permis d'analyser le spectre du compagnon naine brune/exoplanète AB Pic b. Ce travail s'est poursuivi par la construction d'une bibliothèque de spectres d'objets jeunes. Cette bibliothèque fournie un ensemble de spectres de référence pour l'étude des compagnons détectés. Elle apporte des contraintes inédites sur les dernières générations de modèles d'atmosphère froids. Enfin, j'ai tiré parti de l'expérience acquise sur les instruments NaCo et SINFONI pour caractériser le système binaire TWA 22AB qui pourrait calibrer les modèles d'évolution des objets de faible masse.