Автоматическое распознавание контента (АРК, , ACR) — это технология, используемая для идентификации контента, воспроизводимого на медиаустройстве или содержащегося в медиафайле. Устройства с АРК позволяют автоматически собирать информацию о потреблении контента на уровне экрана или динамика без какого-либо участия пользователя или поисковых усилий. Эта информация может собираться для таких целей, как персонализированная реклама, рекомендации контента или продажа компаниям, агрегирующим данные о клиентах.

Как это работает Чтобы начать процесс, из медиафайла выбирается короткий фрагмент медиа (аудио, видео или оба) или он захватывается в том виде, в котором отображается на устройстве на смарт-телевизоре. Используя такие методы, как создание цифровых отпечатков и водяных знаков, выбранный контент сравнивается программным обеспечением АРК с базой данных известных записанных произведений. Если отпечаток медиафрагмента находит совпадение, программное обеспечение АРК возвращает соответствующие метаданные о медиа, а также другой связанный или рекомендуемый контент обратно в клиентское приложение для отображения пользователю, или для сбора производителем устройства или компанией, собирающей пользовательские данные.

Отпечатки и водяные знаки Двумя ведущими методологиями для акустического АРК являются и водяные знаки. Аналогично, видеоотпечаток используется для облегчения АРК для визуальных медиа.

Акустический отпечаток генерирует уникальные отпечатки из самого аудиоконтента. Техники создания отпечатков не зависят от формата контента, кодекв, битрейта и сжатия. Это делает возможным применение акустического отпечатка в различных сетях и каналах и широко используется в секторах интерактивного телевидения, приложений второго экрана, и мониторинга контента. Популярные приложения, такие как Shazam, YouTube, Facebook, TheTake, WeChat и , по сообщениям, используют методологию для распознавания контента, воспроизводимого с телевизора, чтобы активировать дополнительные функции, такие как голосования, лотереи, темы или покупки.

В отличие от отпечатков водяной знак требует встраивания цифровых «меток» в цифровое содержимое потока перед его распространением. Например, вещательный кодировщик может вставлять каждые несколько секунд водяной знак, который может быть использован для идентификации канала вещания, программы и времени. Этот водяной знак обычно не слышен и не виден пользователям, но может быть обнаружен принимающим устройством, например телефоном или планшетом, которые могут использовать водяные знаки для идентификации содержимого, проигрываемого в настоящий момент. Технология цифрового водяного знака используется также в области защиты медиа для выявления источников незаконных копии.

История В 2011 году технология АРК была применена к телевизионному контенту сервисом Shazam, что привлекло внимание телевизионной индустрии. Shazam ранее был сервисом распознавания музыки, который идентифицировал музыку по звуковым записям. Используя собственную технологию отпечатков для идентификации прямых каналов и видео, Shazam расширил свой бизнес на телевизионное программирование. Также в 2011 году (в то время известная как Flingo) представила свою запатентованную технологию АРК для видео, которая использует видеоотпечатки для идентификации контента на экране и обеспечивает работу интерактивных приложений для смарт-телевизоров на нескольких экранах. В 2012 году поставщик спутниковой связи DirecTV заключил партнерство с поставщиком услуг лояльности для телезрителей Viggle, чтобы обеспечить интерактивный просмотр на втором экране.

В 2013 году компания LG начала сотрудничество с (позднее приобретённой и переименованной в Inscape), поставщиком технологий АРК, для обеспечения интерактивности на основе АРК. К 2015 году технология АРК распространилась на ещё большее количество приложений и смарт-телевизоров. Социальные приложения и производители телевизоров, такие как Facebook, Twitter, Google, WeChat, , LG, Samsung и TV использовали технологию АРК, разработанную ими самими или интегрированную сторонними поставщиками АРК. В 2016 году появились дополнительные приложения и мобильные операционные системы со встроенными сервисами автоматического распознавания контента, включая Peach, Omusic и Mi OS.

Приложения

Реклама и сбор данных о клиентах: Данные о привычках потребления медиаконтента клиентами могут быть очень ценными для производителей устройств, рекламодателей и компаний, занимающихся агрегацией данных. Технология АРК помогает этим компаниям изучать интересы клиентов и собирать данные, чтобы более точно нацеливать на них и рекламные кампании. В ноябре 2021 года сообщалось, что производитель смарт-телевизоров получил больше прибыли от продажи данных своих клиентов, чем от продажи самих телевизоров.

Измерение аудитории: Метрики измерения аудитории в реальном времени теперь достижимы благодаря применению технологии АРК в смарт-телевизорах, приставках и мобильных устройствах, таких как смартфоны и планшеты. Эти данные измерений необходимы для количественной оценки потребления аудитории с целью установления ценовой политики на рекламу.

Идентификация контента: Технология АРК позволяет зрителям и слушателям получать информацию о просматриваемом или прослушиваемом контенте. Идентифицированные видео- и аудиоматериалы могут быть связаны с интернет-провайдерами для просмотра по запросу, со сторонними источниками для получения дополнительной справочной информации или с дополнительными медиа.

Улучшение контента: Поскольку устройства могут быть «осведомлены» о просматриваемом или прослушиваемом материале, устройства со вторым экраном могут предоставлять пользователям дополнительный контент, выходящий за рамки того, что отображается на основном экране. Технология АРК может не только идентифицировать содержимое, но и определить точное местонахождение внутри него, предлагая пользователям дополнительную информацию. Кроме того, АРК может активировать различные интерактивные функции, такие как опросы, купоны, лотереи или покупка товаров на основе временно́й метки.

Озабоченность сбором информации Организации, от защитников прав потребителей, таких как фонд электронных рубежей, до технологических веб-сайтов, например PCMag, выразили серьёзные возражения против сбора устройствами данных о привычках просмотра пользователей, ссылаясь на вопросы конфиденциальности. В интернете появились инструкции, как отключить функции АРК в смарт-телевизорах.

Исследования Тесты, проведённые, в основном, в Великобритании и США в 2024 году несколькими университетами Великобритании, США и Испании с использованием конкретных моделей телевизоров LG и Samsung, показали, что эти устройства создают постоянный и непрерывный сетевой трафик. Во время тестов устройства LG отправляли цифровые отпечатки каждые 15 секунд, а Samsung — каждую минуту на определённые сетевые домены. Было обнаружено, что АРК может не захватывать кадры стороннего контента, такого как Netflix, из-за проблем с авторскими правами и сложных условий с конкурирующими агрегаторами, которые ограничивают АРК в использовании их собственных методов. АРК работает, когда телевизор используется только как HDMI-дисплей, помимо регистрации в сервисах производителя телевизора, и функционирует по-разному в Великобритании и США из-за различных законодательных норм. Трафик АРК может быть остановлен с помощью механизма отказа.

См. также Выявление плагиата Классификация документов Извлечение музыкальной информации Поиск по звуку Видеоаналитика

Примечания

Категория:Системы поиска музыки Категория:Онлайновые базы данных по музыке Категория:Технологии телевидения Категория:Терминология телевидения Категория:Интерактивное телевидение