Cet article présente une méthode d'indexation des vidéos par combinaison d'informations spatiales et temporelles, extraites séparément des séquences vidéo. Nous utilisons pour ce faire deux familles de filtres qui sont de bons modèles du système visuel humain, à la fois du point de vue de la perception spatiale mais aussi temporelle. Ces filtres sont construits sur des transformées polynomiales qui réalisent une décomposition locale des signaux. Dans la version spatiale, nous utilisons les polynômes de Hermite (en accord avec les modèles de dérivées de Gaussienne) et les polynômes de Laguerre dans la version temporelle, qui préservent la caractéristique de la causalité. Par intégration des deux modèles, nous construisons un système d'indexation spatio-temporel. Une implémentation efficace est réalisée grâce aux versions discrètes de ces polynômes : les polynômes de Krawtchouk et de Meixner.