Нейронные сети как основной драйвер роботизации в системах видеонаблюдения
_______________________________________________________________________________
Рынок видеонаблюдения возлагает огромные надежды на нейросетевые технологии. Они были самым ярким трендом 2017 г., а в 2018 г. стали еще более популярными. В данной статье рассмотрим, каких успехов уже удалось достичь в использовании нейронных сетей в автоматизации систем безопасности, какие проблемы еще предстоит решить и как в целом как нейронные сети в системах видеонаблюдения могут изменить индустрию и работу конкретных компаний.
Как известно, операторы систем видеонаблюдения физически неспособны в реальном времени воспринимать всю поступающую от видеокамер информацию и большая часть систем видеонаблюдения используется лишь для анализа уже произошедших событий. Естественное решение этой проблемы было предложено больше 20 лет назад: давайте использовать алгоритмы компьютерного зрения для автоматизации анализа происходящего в поле зрения видеокамер.
Однако среди всех алгоритмов, которые за это время были разработаны, действительно широкое и успешное применение получили всего два:
1) базовый детектор движения;
2) распознавание номеров автомобилей
Детектор движения является простым, но при этом очень полезным на практике алгоритмом. А распознавание номеров имеет дело со строго регламентированным объектом анализа (в стандарте четко зафиксировано, как именно может выглядеть номерной знак автомобиля).
Большинство же остальных алгоритмов работают со значительно более сложными объектами анализа. Как следствие, условия применимости этих алгоритмов достаточно узкие, присутствует масса настроек, требуется профессиональное сопровождение в течение всего срока эксплуатации системы и т.п.
Мой опыт показывает, что даже если в штате внедряющей компании есть достаточно грамотные инженеры, понимающие, как именно та или иная настройка влияет на работу детектора, то при большом количестве камер трата пары часов на качественную настройку детектора для каждой камеры становится недостижимой. В результате качество работы детекторов на многих объектах оставляет желать лучшего и операторы либо не получают информацию от алгоритмов тогда, когда в поле зрения камер происходит что-то, требующее внимания человека, либо идет большое количество ложных срабатываний.
Вывод: классическая видеоаналитика не решает задачу обеспечения безопасности, то есть предотвращения нежелательных ситуаций или пресечения их развития в самом начале.
Чтобы вернуть исконную функцию безопасности в системы видеонаблюдения, видеоаналитика должна научиться решать задачи, которые сейчас способен решать только человек. Эту способность могут обеспечить искусственные нейронные сети. Активное внедрение нейронных сетей в индустрии безопасности уже привело к положительным изменениям.
Различие классического и нейросетевого подходов
В чем ключевые различия между традиционными и нейросетевыми подходами компьютерного зрения? Рассмотрим их на примере наглядной задачи – отличить изображение кота от изображения собаки (рис. 1). В традиционном подходе для решения задачи необходим высококвалифицированный специалист по компьютерному зрению, который путем «внимательного вглядывания» выделит признаки, различающие изображения этих двух классов объектов, и на их основе разработает алгоритм. Длительность и успешность разработки алгоритма заранее предсказать невозможно. И даже если алгоритм удалось разработать и он отлично работает, то это не значит, что с его помощью можно решить и другие задачи. Например, различить человека и автомобиль. Весь процесс нужно будет проделывать заново. В нейронных же сетях признаки, по которым объекты отличаются друг от друга, выбирает компьютер на этапе обучения нейронной сети.
Для этого подготавливается большая выборка изображений котов и собак. Нейронная сеть анализирует каждое изображение, и если результат анализа не совпадает с правильным ответом, то выбранные признаки и способы их комбинации корректируются в сторону меньшего количества ошибок. Тем самым сеть адаптируется для решения конкретной задачи, а сам процесс обучения достаточно прогнозируемый и рутинный. Другими словами, анализируя большое количество изображений, на которых предварительно отмечены объекты интереса (например, огонь, дым, люди или автомобили),
нейросеть сама выделяет нужные признаки и учится «узнавать» их.
Пример решения практической задачи
Рассмотрим пример использования нейросетевых методов на практике. Допустим, нам необходимо настроить систему безопасности, которая обнаруживает всех людей на строительной площадке и автоматически фиксирует лицо каждого путем наведения поворотной видеокамеры. Обнаружить перемещающихся людей нам поможет трекер объектов. Но поскольку наш трекер объектов основан на классических методах компьютерного зрения, то кроме людей также будут обнаружены автомобили, качающиеся ветки, строительная техника и т.п. В результате поворотная камера в основном будет следить не за людьми на стройплощадке, а за качающимися ветками. Смысла в такой системе немного.
С помощью нейросетевых методов (мы назвали эту возможность нейрофильтром) можно отсеять из найденных трекером объектов лишние и оставить только те, которые нужны в данном конкретном случае, например только людей. Нейрофильтр не делает работу классического трекера объектов лучше, но убирает практически все ложные срабатывания, и при этом базовый алгоритм не надо тонко настраивать. Фильтр может применяться для сцен с высокой интенсивностью движения, где, помимо объектов нужного типа, присутствует большое количество визуальных помех (качающиеся ветви деревьев, блики на воде, транспорт, техника и т.д.). В результате поворотная камера будет следить именно за людьми. При помощи фильтра и решается задача контроля появления людей в опасных зонах на производстве и значительно сокращается количество ложных срабатываний детектора оставленных предметов в общественном месте.
Использование нейронных сетей дало феноменальный рост качества работы систем распознавания лиц. Индустрия уже перешла на новый уровень, причем во многих случаях такие технологии действуют лучше, чем человек. Большинство систем распознавания номеров также теперь используют нейросетевые методы. В общем, они стали рутинным способом решения многих задач анализа изображений.
С помощью нейросетей можно решать и другие задачи видеонаблюдения:
1. Классификация транспорта – легковой автомобиль, грузовик, автобус.
2. Технологический контроль, например анализ уровня загрузки вагонов и грузовиков.
3. Локализация объектов на изображении (обнаружение в кадре объектов нескольких классов и их положения).
4. Поиск объектов по визуальному сходству (если в архиве необходимо отыскать объект и примерно известно, как он выглядел, то можно найти все фрагменты, где подобные объекты встречались).
Высокая ресурсоемкость
При всех достоинствах нейросетей нельзя не отметить одну из их ключевых проблем, которая возникает при внедрении на реальных проектах, – высокую ресурсоемкость. Если в случае классических методов один мощный сервер способен обработать до 60–80 живых каналов видео, то в случае нейросетей тот же сервер обработает только 4–8 каналов. Увеличить количество серверов в 10 раз ради более высокого качества работы алгоритмов согласится мало кто из заказчиков.
Отчасти причина этой проблемы в том, что большинство научных команд не рассматривают вычислительную мощность как ограничивающий фактор и борются только за качество работы. Соответственно, брать подобные алгоритмы и использовать их «в лоб» в видеонаблюдении — малореалистично. Отголоски этой проблемы встречаются на выставках, когда показываются впечатляющие результаты работы нейросетевых алгоритмов, но на обработку одного канала видео тратятся вычислительные ресурсы целого сервера.
Пути решения проблемы ресурсоемкости на данном этапе видятся следующими:
1) адаптация нейросети к реальным задачам видеонаблюдения (например, не стоит «в лоб» использовать нейросеть, разработанную для классификации объектов на 1000 классов, если в нашей задаче их 10);
2) специализированное оборудование (аппаратное ускорение нейросетевых вычислений);
3) обработка не каждого кадра (например, для детектирования огня и дыма не требуется обрабатывать каждый кадр живого видео);
4) комбинированные методы (классический трекер обнаруживает в кадре движущиеся объекты или оставленные предметы, фрагмент кадра с объектом передается на обработку нейросети; таким образом снижается частота обращений к ней);
5) настройка классических алгоритмов с помощью нейросети, когда нейросетевые методы используются только для автоматического подбора оптимальных настроек классических алгоритмов для каждой конкретной видеокамеры.
Специализированное оборудование
Специализированное оборудование может значительно повысить скорость работы нейросети на конкретном компьютере. Такое оборудование как уже представлено на рынке в разных форматах и разных ценовых сегментах, так и заявлено производителями и появится в ближайшем будущем.
Оценим его плюсы и минусы
1. Видеокарты NVidia. Плюсы – распространенность и значительная вычислительная мощность. Минусы – высокая для индустрии видеонаблюдения стоимость. Мощная бытовая видеокарта серии GeForce стоит порядка 50 тыс. рублей, но не может быть установлена в серверный корпус. Для этого существуют профессиональная серия Tesla, но цена сопоставимого по мощности устройства будет уже порядка 300 тыс. рублей.
2. USB устройства Movidius от Intel. Плюсы – промышленное исполнение (нет движущихся частей, не требуют охлаждения и сложной аппаратуры), невысокая стоимость (порядка 8 тыс. рублей). Минусы – не самая высокая вычислительная мощность. Компания Intel уже анонсировала новый, значительно более быстрый нейросетевой процессор Myriad X, но готовых устройств на его базе пока нет. Кроме того, есть надежда, что, обладая технологией, Intel будет встраивать ее в обычные процессоры, по примеру графического ядра.
3. Японская компания Socionext объявила о планах выпуска нейросетевого ускорителя на базе АРМ-процессоров, который, по обещаниям, при доступной цене и очень низком энергопотреблении будет обеспечивать фантастическую производительность нейросетевых вычислений. Но готового устройства на рынке также пока нет.
4. Компания HiSilicon, процессоры которой использует большинство видеокамер, выпустила процессор Kirin 970 с модулем ускорения нейросетей. Это дает возможность выполнять всё более сложные операции прямо на борту видеокамеры.
Как мы видим, конкуренция обостряется, и это замечательно для пользователей, так как появляется надежда, что проблема аппаратного ускорения будет полностью решена в течение 1–2 лет.
Проблемные особенности нейросетей для индустрии безопасности.
Несмотря на все свои преимущества, нейросеть – это не искусственный интеллект, у нее нет никакого «сознания». Этим обусловлены определенные проблемы при внедрении нейросетей для решения задач безопасности.
1. Обобщающая возможность нейросетей довольно ограниченна. Они очень хорошо работают на тех данных и условиях, на которых их обучили, и выдают лучший результат при адаптации под конкретный объект. Без адаптации качество работы может быть не столь высоким.
2. Большая обучающая выборка. Это одна из принципиальных особенностей нейросетей. Чтобы научить сеть, необходимо собрать большое количество примеров изображений. Для алгоритма распознавания лиц это количество измеряется миллионами и десятками миллионов, для других задач – тысячами и десятками тысяч.
Для одних задач сбор обучающей выборки возможен, но для других сильно затруднен. Например, не вполне ясно, как собрать десятки тысяч примеров лесных пожаров при разных условиях наблюдения. В этом случае можно попробовать использовать для обучения синтетические данные или применить в данной задаче значительную часть «опыта» нейросети, полученного при решении другой задачи (Transfer Learning).
3. Практически все исследовательские нейросетевые методы и софт пишутся только под Linux, тогда как основная целевая платформа для нашей индустрии – Windows. Поэтому решения приходится адаптировать или частями переписывать под Windows, что бывает крайне трудозатратным процессом.
4. Обучение по реакции пользователя, о чем многие просят. Речь идет о ситуации, когда система должна сама дообучаться на основе решений оператора (например, о ложной или истинной тревоге), чтобы «лучше понимать», что действительно является тревогой на конкретном объекте.
Тут есть несколько проблем:
а) необходимо большое количество примеров;
б) необходимо специализированное оборудование, чтобы каждое обучение нейросети не затянулось на недели;
в) обычно требуется знание Linux;
г) нет гарантий, что нейросеть обучится на собранных данных, и может потребоваться участие человека, возможно, не очень высококвалифицированного, но понимающего, что происходит в процессе обучения.
Решением перечисленных проблем может стать перенос обучения нейросетей с объекта в облако.
На объекте будут работать видеодетекторы, генерирующие события, а реакции операторов (ложная тревога или истинная) и нужные фрагменты видео будут поступать в облако, где выполняется дообучение используемой нейросети. Это освободит заказчика от необходимости как покупать специализированное дорогостоящее оборудование для обучения на объекте, так и иметь в штате специалиста по нейросетям. Хотя и не всем заказчикам нравится, что данные уходят в облако, но это перспективный и практически единственный вариант сделать систему видеонаблюдения дообучаемой в автоматическом режиме.
Прогнозы развития
Совершенно очевидно, что пока нейросеть не способна заменить оператора, это перспектива ближайших 3–5 лет. Она не понимает логические взаимосвязи, являясь лишь способом решения некоторых задач машинного зрения. Тем не менее динамика развития нейросетей для роботизации в системах безопасности выглядит очень позитивно:
- 6 месяцев – 1 год: снижение количества ложных срабатываний без принципиального изменения качества работы ситуационной аналитики (сами трекеры и детекторы не станут работать лучше, но будут давать значительно меньше ложных срабатываний);
- 1–2 года: повышение качества поиска в архиве за счет увеличения детальности поиска (большее количество признаков), повышение производительности и значительное снижение цены на аппаратное ускорение нейросетей;
- 1,5–3 года: резкое повышение качества работы ситуационной аналитики, анализ живого видео, сокращение количества операторов;
- 3–4 года: первые системы, «понимающие» логику происходящего в поле зрения камер; системы видеонаблюдения впервые за время их существования становятся инструментом автоматического обнаружения правонарушений в реальном времени.
Чего ждать игрокам рынка?
Вот как такой ход вещей предположительно отразится на разных игроках рынка систем безопасности:
1. Компании-разработчики ПО и оборудования активно осваивают (или начинают осваивать) современные нейросетевые методы самостоятельно или с привлечением компетентных партнеров. Это касается производителей как VMS, так и видеокамер/NVR. Не справившиеся компании потеряют долю рынка, в первую очередь в странах с высокой стоимостью труда операторов.
2. Компании-инсталляторы и интеграторы увеличат средний размер проектов за счет все большей эффективности систем видеонаблюдения. В остальном изменений не предвидится.
3. Подразделения охраны ожидает резкое сокращение количества сотрудников, непосредственно работающих с видеокамерами. Высока вероятность предоставления удаленных операторов в виде услуги и, соответственно, роста компаний, предоставляющих такую услугу.