La détection automatique des publicités télévisées est un ensemble de techniques informatiques qui permettent de détecter automatiquement les publicités dans un flux vidéo de télévision.
Il s'agit d'un thème qui appartient encore largement au domaine de la recherche, avec toutefois une forte implication d'industriels, notamment Philips ou Google, ainsi que de nombreux brevets déposés. Les applications sont nombreuses et vont du magnétoscope numérique intelligent à la gestion d'archives de télévision, en passant par la vérification de la diffusion des publicités.
Historique
Les premières mentions de la possibilité d'une détection automatique des publicités sont apparues dans des brevets américains : celui de Novak Albert P. Novak, « Method and system for editing unwanted program material from broadcast signals », Brevet américain , 1988. en 1988, celui de Blum Dieter W. Blum, « Method and Apparatus for Identifying and Eliminating Specific Material from Video Signals », Brevet américain , septembre 1992. en 1992 et celui de Nafeh, brevet américain . en 1994.
Les brevets de Novak et Blum sont encore marqués par l'analogique. Ils utilisent le fait que quelques images de séparations sont présentes entre deux publicités, que ces images sont généralement noires, et donc faciles à détecter. La détection est faite dans le domaine pixellique. Nafeh utilise, quant à lui, un réseau de neurones pour apprendre et classer des clips vidéos en fonction de leurs caractéristiques sonores et visuelles. C'est la première contribution qui fait un usage explicite de méthodes d'apprentissage artificiel.
Depuis ces travaux, le nombre de brevets sur cette problématique est devenu tout à fait conséquent . alors que le nombre de publications scientifiques est assez modeste. Toutefois, ces brevets ne donnent pas de résultats quant à l'efficacité de leurs techniques de détection, il est donc difficile de savoir si les techniques proposées sont réellement efficaces.
Le nombre de travaux universitaires sur le sujet a véritablement commencé à devenir important à partir de 1997 et des travaux fondateurs de Lienhart R. Lienhart, C. Kuhmunch and W. Effelsberg, « On the Detection and Recognition of Television Commercials », in Proceedings Of IEEE International Conference on Multimedia Computing and Systems, , 1997..
Technique Caractéristiques Les techniques de détection font usage de plusieurs caractéristiques, supposées être caractéristiques des publicités, qui doivent en principe permettre la discrimination entre les programmes et les espaces de publicité diffusés. Ces caractéristiques sont ensuite combinées et utilisées de différentes manières afin de prendre une décision.
Images monochromes (Ecran interpub) thumb|right|Un exemple d'écran monochrome de couleur bleue diffusé entre les publicités (diffusée sur TF1 jusqu'en juillet 2006 et sur AB1 et certaines chaines thématiques jusqu'à maintenant). |alt=Capture d'écran monochrome bleue. thumb|right|Entropie de l'histogramme de luminance sur une heure de télévision (France 2).|alt=Graphique d'abscisse « images » et d'ordonné « entropie de l'histogramme ». La caractéristique la plus répandue est la présence de séparations, encore appelées cartons monochromes, ou simplement images monochromes (dans le jargon écran interpub). Ce sont des images monochromes qui sont diffusées par la chaîne entre deux publicités, essentiellement pour permettre au téléspectateur de mieux comprendre leur enchaînement. C'est une technique utilisée dans de nombreux pays : en Allemagne, aux États-Unis Hauptmann, A.G. Witbrock, M.J., « Story segmentation and detection of commercials in broadcast news video », IEEE International Forum on Research and Technology Advances in Digital Libraries, 1998. ADL 98. 1998, pp. 168-179., en Irlande Sean Marlow, David A. Sadlier, Karen McGeough, Noel O'Connor, Noel Murph, « Audio and Video Processing for Automatic TV Advertisement Detection », Proceedings ISSC, 2001 ., aux Pays-Bas N. Dimitrova, S. Jeannin, J. Nesvadba, T. McGee, L. Agnihotri, G. Mekenkam, Real time commercial detection using MPEG features, Proc. Int. Conf. On Information Processing and Management of Uncertainty in knowledge-based systems (IPMU 2002), pp. 481-486, Annecy, France., en Suisse et en Espagne. Dans tous ces pays les images de séparation sont noires.
En France ces images existent aussi mais sont soit noires (Canal+ (gris auparavant), TF1 (bleu auparavant), M6, NT1), soit blanches (France Télévisions depuis pour France 2 (Vert du temps de Antenne 2 puis bleu) et France 3 et 2002 pour France 5 car La Cinquième utilisait un interpub noir), certaines portant le logo de la chaîne (France 2 (entre mars et ) C8, W9, NRJ 12,M6 entre et ). En Asie, ou sur certaines chaînes irlandaises, ces images de séparation n'existent pas (ceci est valable pour NRJ 12 et BFM TV a leurs débuts et certaines chaines thématiques comme Game one Tie-Yan Liu, Tao Qin Hong-Jiang Zhang, « Time-constraint boost for TV commercials detection » Microsoft Research Asia, ICIP'04. International Conference on Image Processing 2004, Volume: 3, pp. 1617-1620..
La détection d'images monochromes est un problème de traitement du signal simple. Toutefois, le bruit de transmission et les scènes se déroulant de nuit compliquent la tâche. Plusieurs techniques ont été proposées : le seuillage de la moyenne et de la variance des pixels de luminance, l'entropie de l'histogramme de luminance.
Certains auteurs proposent de travailler dans le domaine compressé, en supposant que le flux vidéo est du MPEG-1 ou MPEG-2. Sadlier proposent d'utiliser le coefficient DC de la matrice DCT de luminance d'un bloc 8×8, qui est la valeur moyenne des pixels de ce bloc. La détection des images noires est alors réalisée par un seuillage des valeurs de ce coefficient DC à partir d'une valeur moyenne de ce coefficient. Le même genre de méthode est utilisé par McGee , qui soulignent qu'une valeur de seuil fixe semble impraticable et réajustent cette valeur de seuil à chaque occurrence d'une image qui dépasse ledit seuil.
Ces techniques entraînent un grand nombre de faux positifs, parce qu'il existe énormément d'images « quasi-monochromes » qui ne sont pas des séparations de publicités, par exemple lors d'un fondu, ou dans les scènes de nuit.
Depuis quelques années les chaines de tv françaises commerciales comme les chaines du groupe TF1,celles du groupe et M6 et les chaines d'information en continu diffuse un jingle (de la même durée qu'un jingle pub qui fait office d'image de séparation)
Silence thumb|right|Énergie du signal audio sur quelques minutes de télévision (France 2).|alt=Graphique d'abscisse « trames » et d'ordonné « log-énergie sur une trame ». Les images monochromes de séparation sont généralement accompagnées d'instants de silence. Certains auteurs utilisent la détection de silence comme une source d'information supplémentaire pour rendre plus robuste la détection des séparations.
La détection de silence s'effectue en général à partir de l'énergie du signal audio. D'autres caractéristiques, tel le Zero Crossing Rate, peuvent aussi être utilisées Hadi Harb and Liming Chen and Jean-Yves Auloge, « Speech/Music/Silence and Gender Detection Algorithm », Proceedings of the International Conference on Distributed Multimedia Systems (DMS 01), 2001.. Sur les chaînes françaises, le silence se révèle être une bonne observation, grâce à sa facilité de détection. L'énergie du signal audio tombe en effet à zéro lors des séparations entre publicités.
Logo Certains auteurs ont remarqué que le logo de la chaîne n'était pas présent durant les publicités. La détection du logo peut donc être un indicateur intéressant. La détection de logo est toutefois une tâche difficile : logos semi-transparents, couleurs dynamiques, mouvement… De plus, la présence du logo n'est pas toujours systématique dans les programmes, d'où des faux positifs.
Taux d'activité Une indication souvent utilisée est une mesure du taux d'activité : nombre de plans par minute, indication de mouvement… Les publicités possèdent en effet généralement un rythme de montage élevé, afin de capter l'attention des téléspectateurs.
Une des premières propositions est celle de Lienhart et al., qui calculent le nombre de coupures « brutales » entre deux plans, qu'ils estiment à 20,9 par minute pour les publicités et à 3,7 pour le reste. À cela s'ajoute une mesure de l'activité, à partir des changements dans les contours, détectés par une méthode de détection de contour, ainsi qu'à partir de la longueur des vecteurs de mouvement.
Cette observation est aussi sujette à de nombreux faux positifs : films d'action, clips, bandes annonces…
Divers D'autres caractéristiques peuvent aussi être utilisées : la présence de texte McGee, Thomas; Dimitrova, Nevenka, Parsing TV programs for identification and removal of nonstory segments, Proc. SPIE Vol. 3656, p. 243-251, Storage and Retrieval for Image and Video Databases, 1998. par une méthode de détection de texte. Cette dernière est un processus coûteux, faisant en général appel à des techniques de morphologie mathématique, complexes, et donc contraignantes lorsque des volumes importants de vidéo sont à traiter. De nombreux faux positifs existent aussi (génériques, bandes-annonces, journal télévisé…).
D'autres caractéristiques sont parfois évoquées : les sous-titres télétexte, la présence simultanée de musique et de parole…
Parfois mentionné, le volume sonore ne semble pas être une observation fiable. Une étude faite par l'ENSTÉtude de l'ENST commandée par le CSA sur le volume sonore des publicités télévisées. sur des chaînes françaises a montré que l'augmentation du volume existait sur seulement 50 % des séquences publicitaires, ce qui ne permet pas d'utiliser le volume comme une observation discriminante. De plus, la loi française régulant le volume sonore des publicités télévisées, par l'article 14 du décret du , les chaînes seraient en infraction si c'était effectivement le cas.
Méthodes de détection Satterwite et Marques identifient deux types de méthode de détection : les méthodes à base de caractéristiques et les méthodes de type reconnaissance.
Méthodes à base de caractéristiques Dans ce type de méthode, les auteurs choisissent un ensemble de caractéristiques discriminantes et élaborent des algorithmes à base de règles ou des algorithmes d'apprentissage.
De simples règles sont parfois utilisées, par exemple en imposant des conditions sur la durée et la position des images monochromes. Ces méthodes font appel à beaucoup d'a priori, sont donc difficilement généralisables, et ne sont pas robustes à un changement de la structure de diffusion.
Une catégorie relativement importante de travaux consiste à réaliser un apprentissage sur les caractéristiques, en se basant en général sur une segmentation en plans effectuée au préalable. Il a ainsi été proposé d'utiliser un modèle de Markov caché à deux états, publicité et non-publicité, avec deux caractéristiques : la présence du logo et la durée des plans Albiol, A. Ch, M.J. Albiol, F.A. Torres, L., « Detection of TV commercials », IEEE International Conference on Acoustics, Speech, and Signal Processing, 2004. Proceedings. (ICASSP '04). Volume 3, pp.541-4.. Les modèles de séparateurs à vaste marge sont utilisés par Hua Xian-Sheng Hua, Lie Lu, Hong-Jiang Zhang, « Robust Learning-Based TV Commercial Detection », ICME, 2005. pour classer chaque plan, à partir de nombreuses caractéristiques vidéos de bas niveau mais aussi de caractéristiques audio un peu plus sophistiquées : la présence de transitions audio et une classification en parole, musique et bruit.
Une technique de boosting contraint temporellement a aussi été proposée par Liu , en utilisant diverses caractéristiques audio et vidéo de bas niveau (ECR, énergie audio…) calculées sur chaque plan.