Система помнит все: как точная промышленная видеоаналитика помогает бизнесу
Сто кадров назад
На экране ноутбука — прямая трансляция из цеха отгрузки. Белые мешки с сахаром едут по конвейеру. На каждом из них мерцают неоновым цветом геометрические фигуры и цифры, наложенные программой отслеживания. Сперва мешки едут один за другим с равными интервалами, но вот один мешок запаздывает, и на него сразу же падают следующие — создается затор. Приходит рабочий и разбирает завал. Неоновые фигуры и цифры на мешках пляшут, изгибаются, разворачиваются на 360 градусов и скрываются из виду — но как только мешок показывается на поверхности, фигура и номер вновь оказываются на своих местах, показывая, как идет отгрузка.
Так выглядит работа системы промышленной аналитики от российской компании Videomatrix — компьютерных глаз, которые следят за объектами и считают их, ошибаясь лишь в одном случае из 30 000. Такая точность, рассказывает создатель и глава Videomatrix Фарид Нигматуллин, достигается не в условиях лаборатории, а на реальном производстве — там, где пыльно, грязно и темно.
Но для системы эти факторы неважны: она знает не только координаты мешка, но и всю его историю с тех пор, как он появился в кадре. В отличие от многих систем распознавания образов эта знает, где объект был два, десять, сто кадров назад. Она рассчитывает траекторию объекта и предсказывает, где он окажется через некоторое время, а потом сверяется с обновленными данными камеры. Это позволяет не терять мешок, даже если он завален другими, свалился с ленты транспортера или когда человек держит его в руках. Другими словами, разработка помнит все про каждый объект и не посчитает мешок заново, когда он опять окажется в кадре, если, конечно, он не пробыл вне поле зрения камеры слишком долго.
Работать с программными системами, к которым предъявляются высокие требования по достоверности, Фарид Нигматуллин начал, еще будучи студентом Уральского политехнического института (сейчас входит в УрФУ). Первой задачей такого рода для него стало определение степени изношенности банкнот. Нужно было создать программу, которая превращает субъективно воспринимаемые свойства поверхности купюры в объективные, понятные машине. В середине 1990-х, когда не существовало готовых программных инструментов для разных этапов обработки изображения, это была по-настоящему сложная задача. Система, разработанная по заказу Центрального банка Свердловской области, в усовершенствованном виде работает до сих пор.
После первого успешного проекта Фарид занимался разработкой систем компьютерного зрения для Центробанка и монетных дворов почти два десятилетия. Учил компьютер отличать индийские рупии, напечатанные центральными властями, от рупий, напечатанных на нелегально вывезенных в Пакистан станках. Создавал алгоритмы для выявления поддельных рублевых купюр, ювелирно склеенных по популярной в 2000-х методике из маленьких обрезков. Писал код для машин, контролирующих качество купюр, только что вышедших из типографии, и для машин, которые отбраковывают ветхие купюры. Созданная Фаридом Нигматуллиным в 2014 году компания Videomatrix сегодня предлагает четыре готовых продукта.
Учесть и распознать: продукты Videomatrix
Vmx MarkerID — решение для считывания и распознавания промышленной маркировки. Такая видеоаналитика может, например, распознавать номера на движущихся железнодорожных вагонах. Ее главное преимущество — точность распознавания даже стертой, некачественной маркировки в любую погоду.
Система отслеживания продукции на конвейере Vmx Qualex — прослеживает движущиеся однотипные объекты на конвейере, ведет учет, создает паспорта качества изделий. Поскольку система имеет дело не с хаотично движущимися животными или людьми, а с более-менее стандартизированными объектами и траекториями, ее архитектура несколько облегчена.
Еще один продукт — система контроля качества Vmx Dequs, которая распознает дефекты на поверхности продукта: потертости, царапины, изменения рельефа, трещины, отверстия.
Системы, внедренные на российских металлургических предприятиях, в частности, следят за каждым миллиметром выходящей из прокатного стана полосы металла и фиксируют любые, даже не сразу видимые глазу дефекты. Затем программа строит карту дефектов и рассчитывает оптимальный способ обрезки полосы, который позволяет минимизировать потерю металла и устранить при этом все дефекты.
Системы промышленной видеоаналитики для отслеживания объектов со сложной траекторией Vmx SILA — одна из последних разработок Videomatrix.
Как правильно «подложить» свинью
Для того чтобы научить систему отслеживать мешки, у команды Videomatrix ушли не годы, а всего несколько недель: в основу разработки легли уже готовые решения для одного из прежних проектов. Для него Фарид Нигматуллин и его команда учили компьютер различать и отслеживать гораздо более своевольные объекты — живых свиней.
«Система учета свиней, которую мы разработали по заказу крупного агропромышленного комплекса, — это наша сложнейшая работа и большое достижение, — объясняет Нигматуллин. — Мы имели дело с объектами с совершенно непредсказуемой траекторией движения: свиньи бегают и прыгают, скрываются друг за другом, могут залечь и долго не вставать. Они пестрые и не всегда чистые, к тому же перед камерой ходят люди. Возможностей ошибиться было много, притом что ошибаться нельзя: каждая неверно учтенная единица — это животное».
На разработку системы учета свиней — ядра Videomatrix — у трех опытных программистов ушел год. Еще столько же потребовалось для того, чтобы адаптировать систему к конкретным бизнес-задачам: привязать к оборудованию свинофермы, бухгалтерии, транспорту.
Сейчас решения, которые были с ноля разработаны для пересчета животных, легко адаптируются к задачам отслеживания более простых объектов. Это позволяет Videomatrix снижать цену продукта и делать его доступным не только для крупного, но и для среднего и малого бизнеса.
Программная часть системы отслеживания мешков Vmx SILA с одной видеокамерой и серверными лицензиями при выкупе обойдется покупателю в 360 000 рублей. Некоторым клиентам может быть выгоднее взять сервис в аренду — это обойдется всего в 10 000 рублей в месяц. В этом случае используются данные с камер, уже установленных на производстве. Арендаторам бесплатно поставляются программные компоненты, связывающие систему и оборудование. Можно, например, сделать так, чтобы система могла в случае необходимости останавливать конвейер, а можно связать ее с 1С.
«Финансовая доступность качественной системы нехарактерна и нова для рынка. Как правило, стоимость видеоаналитики зависит от точности. Большая точность, как правило, стоит дорого, — объясняет Фарид Нигматуллин. — Многие производства, опробовавшие дешевые системы, успели разочароваться в технологии видеоаналитики в целом».
«Мы — одни из немногих разработчиков с продуктом, который дает точность до 99,99% по относительно доступным ценам. По данным, которые нам предоставляют клиенты, установка системы по учету мешков окупается приблизительно за полгода».
Часто задачи, которые решает видеоаналитика, требуют не только программных, но и инженерных решений. У Videomatrix есть патент на технологию поиска дефектов сверхтонких — до 1 мм толщиной — стальных листов с использованием стандартных дешевых IP-камер (камер для видеонаблюдения). Зрительный поиск дефектов зеркальной металлической поверхности — почти нерешаемая задача, но команда Videomatrix справилась, особым образом расположив камеру и добавив «мишень» — плоское изображение, по качеству отражения которого в стальном листе система судит о качестве металла.
Новые нейросети, старая математика
Использование в системах Videomatrix нейронных сетей одновременно с математическими алгоритмами — еще одна сильная сторона разработки и ее конкурентное преимущество.
«Сейчас все решения Videomatrix имеют нейросетевой компонент, но ни в одном продукте он не является единственным, — поясняет Фарид Нигматуллин. — Наша команда оценила возможности нейросетей и поняла, что их недостаточно для достижения той точности, которая нужна в промышленной аналитике. Подводит сильная зависимость от контента. На реальном производстве изображение с камеры может содержать (и обычно содержит) множество самых разных помех: пар, блики, загрязнившийся объектив, в горячих цехах это могут быть искры, в холодных — пыль и грязь. То, что с таким справятся решения только на нейросетях, не гарантировано. Поэтому во всех наших решениях они используются вместе с набором математических подходов и логики».
Правильно распределить задачи между компонентами архитектуры будущей программы — уже половина успеха. В решении для дефектоскопии каучука из-за специфики задачи нейросети поручили классификацию дефектов, а классическому алгоритму — их поиск. Но это распределение может быть и другим.
Большая точность диагностики достигается, как объясняют в Videomatrix, за счет того, что системе изначально дают больше информации, чем необходимо. Системе разрешают ошибаться, но только одним способом: находить больше дефектов (объектов), чем есть на самом деле. От ложноположительных результатов постепенно избавляются, корректируя алгоритм и вводя дополнительные ограничения. В результате система очень редко срабатывает зря, но никогда ничего не упускает.
Решения для любой комбинации
Еще одна сфера применения системы Vmx Dequs от Videomatrix — контроль видимой нетипичной эмиссии, например рыжего дыма из труб предприятия вместо допустимого техпроцессом белого пара. Традиционно для контроля эмиссии используются не камеры, а газоанализаторы. Анализ видео — относительно новый способ. Система видит облако «неправильного» цвета, идущее из контейнера или заводской трубы, и оповещает об этом сотрудников предприятия и экологическую службу. Решение Vmx Dequs: ECO в 2021 году внедрили на Новолипецком металлургическом комбинате — там же, где годом ранее начала работать система Vmx Dequs: HistControl, автоматически контролирующая выплавку стали из чугуна.
Решения для видеоаналитики можно использовать в любой комбинации в зависимости от задачи. Они могут следить за тем, исправно ли работает оборудование; следить за соблюдением технологии, вести учет отдельных изделий, контролировать расход сырья, пересчитывать готовую продукцию. На стройплощадке камера с качественной аналитической системой найдет людей, снявших каски и перчатки, отличит рабочего от прораба, а также проконтролирует, насколько правильно работники выполняют типовые операции. Кроме того, софт от Videomatrix полностью российский, он входит в реестр отечественного ПО, поэтому продукты Videomatrix можно использовать и в рамках импортозамещения.
С другой стороны, промышленная видеоаналитика — молодой рынок, в России он только начинает формироваться. Кризисы последних лет не лучшим образом повлияли на готовность бизнеса вкладываться в цифровые решения, признают и в Videomatrix. Почему системы для промышленной видеоаналитики должны быть востребованы?
«Это не роскошь, а реальный способ снизить затраты, поэтому такие решения будут пользоваться спросом, — уверен Фарид Нигматуллин. — Хорошая аналитика быстро окупается, а бизнесу очень важна скорость в получении реального результата».