Умная система ML Sense от Nord Clan на предприятии Росатома

Как с помощью нейросетей и машинного зрения контролируют качество жгутов углеродного волокна

Как с помощью нейросетей и машинного зрения контролируют качество жгутов углеродного волокна

Команда компании Nord Clan реализовала проект для крупнейшего в России производителя углеродного волокна. Завод, входящий в состав Композитного дивизиона госкорпорации «Росатом», — в десятке мировых лидеров: мощность его производства составляет порядка 1400 тонн углеродного волокна в год. Для поддержания высокого уровня качества продукции производитель принял решение автоматизировать процесс контроля качества с помощью новых технологий. Специалисты Nord Clan рассказывают о внедрении платформы ML Sense для контроля дефектов углеволокна на основе технологий машинного зрения и нейросетей.

На правах рекламы

Контроль качества на производстве углеволокна

Углеродное волокно — материал, состоящий из тонких нитей диаметром от 6 до 8 мкм, образованных преимущественно атомами углерода. Композитный дивизион Росатома поставляет волокно в качестве сырья для производства композитных крыльев самолетов, ракетных двигателей, лопастей ветрогенераторов, а также хоккейных клюшек, велосипедов, карбоновых деталей для кузовов дорогих спорткаров и мотоциклов, лодок и т. д.

«Идея автоматизированного определения наличия дефектов на волокне с помощью машинного зрения появилась давно. Мы понимали, что для операторов выявление дефектов — это большая нагрузка, и, чтобы в том числе устранить влияние человеческого фактора, а также повысить качество производимой продукции, решили довериться более острому зрению — машинному. Мы идем в ногу со временем и используем инновационные решения для поставленных задач», — объясняет инженер-технолог производства углеродного волокна Алина Бутусова.

Обычно углеродное волокно получают при помощи термической обработки химических или природных органических волокон. В результате образуются межатомные связи, приближающиеся к кристаллической структуре графита, что придает волокну (по направлению вдоль) невероятную прочность.

В процессе производства на углеродных нитях могут появляться различные дефекты: обрыв, узел, ворс (пучок), отклонение толщины жгута и полотна на 1 мм и более, посторонние включения (капли смолы — аппрета, мусор и т. п.). И если для декоративного применения качество волокна не так важно, то для производства углеродной ткани дефектные нити не подойдут.

Дефекты на производстве контролировались операторами ОТК, которые смотрели на десятки жгутов на линии шириной 3 м и устраняли дефект, который замечали. Рассмотреть все дефекты при таком объеме человеческому глазу достаточно сложно. Образно говоря, это как наблюдать за стадом одинаковых зебр, которые весь день быстро скачут перед глазами — скорость линии до 12 метров в минуту.

Чтобы упростить работу и автоматизировать процесс, было решено использовать машинное зрение, а компания Nord Clan, имеющая опыт реализации подобных проектов по контролю качества, выступила подрядчиком. Наш продукт ML Sense подошел под все требования: система способна распознавать дефекты от 0,1 мм и обеспечивает высокую точность детекции (97–100%). 

Оценка масштабов и сложности задачи

На старте проекта мы выехали на производство, чтобы определить точки контроля, на которые будем устанавливать оборудование. Важно было оценить факторы, которые влияют на работу системы ML Sense, — уровень освещения, наличие пыли, вибраций.

Мы ориентировались и на особенности производственного процесса, чтобы установленное оборудование не мешало сотрудникам производства выполнять свои задачи и одновременно было защищено от случайного повреждения.

«Ожидания от применения новой системы высоки. Мы ставили коллегам из Nord Clan сложную задачу: добиться точности выявления дефектов не менее 97%, ведь мы понимаем важность ответственных изделий, для производства которых используется наше углеродное волокно. Мы дорожим своей репутацией, и коллеги из Nord Clan проявили высокую заинтересованность и нацеленность на результат. Общаться с ними было легко: они, как профессионалы своего дела, легко улавливали наши пожелания и воплощали их в жизнь», — отмечает инженер-технолог производства углеродного волокна Алина Бутусова.

Наше решение должно детектировать дефекты на финальной стадии производства и вовремя оповещать ответственных сотрудников, чтобы они успели принять меры — устранить дефектный участок волокна и продолжить процесс намотки.

Подбор оборудования

Для каждого проекта на основе машинного зрения наши специалисты подбирают необходимый набор оборудования. Например, если для выявления дефекта на листе металла достаточно камеры стандартного разрешения, то с поиском дефектов на тончайших нитях волокна она не справится. Из-за санкций нам пришлось отказаться от немецких камер Basler и найти аналог достойного качества — Hikrobot (Китай).

Была вероятность, что при замене камеры придется переучивать нейросеть, так как алгоритм ML Sense обучен на определенном типе оборудования и чувствителен к правильному расположению камеры и освещения. Для дополнительных тестов системы мы запросили у завода бобины углеродного волокна и воспроизвели весь процесс проверки качества волокна в собственной лаборатории. Испытания показали тот же уровень точности распознавания — до 98%, и мы были готовы к следующему этапу работ.

Второй важный фактор для выявления дефектов с помощью машинного зрения — освещение. Для точного распознавания нейросеть должна получать четкие снимки высокой контрастности, в нашем случае это черные нити на ярком белом фоне. Для решения этой задачи мы подобрали светильник по индивидуальным параметрам: нестандартной длины и со светодиодами высокой интенсивности, которые расположены плотно друг к другу.

Параллельно с процессом подбора оборудования наши инженеры моделировали виртуальную 3D-сцену в SolidWorks на основе замеров оборудования с производства. Рассчитали оптимальное расстояние для установки камер и светильника, подготовили чертежи мачты для крепления оборудования, по которым изготовили конструкцию.

Создание алгоритма

Для проекта использована предобученная система с машинным зрением ML Sense, которая способна определять дефекты различного типа на производстве. В ее основе сверхточная нейросеть, каждый элемент (слой) которой отвечает за распознавание разных параметров: формы, размера, цвета и др. Для определения дефектов волокна мы добавили новые слои нейросети, которые обучили распознавать типичные дефекты нитей.

Сбор данных для обучения нейронной сети

Для этого мы установили на заводе камеры и обеспечили сбор данных, а после отобрали кадры, на которых были видны дефекты волокна. Сбор проходил около месяца, но так как на производстве дефект — не такое частое явление, а для обучения нейросети требуются тысячи изображений, то дополнительные данные мы сгенерировали 3D-моделированием, а также сделали фото дефектов волокна в собственной лаборатории.

Разнообразие материалов обеспечили процессом аугментации данных. В результате мы имеем датасет из 10 000 фотографий, где каждый вид дефектов размечен и классифицирован для обучения нейросети: это узел, это ворс и т. д.

Как теперь работает обученный алгоритм

Линейная камера направлена на нити волокна и делает фото в заданной точке шириной 1 пиксель. Таких кадров камера делает 40 000 штук в секунду — рабочая частота кадров камеры синхронизирована со скоростью конвейера, чтобы получать данные такими, как они есть в реальности, а не вытянутые фотографии из-за движущегося конвейера. Затем, для дальнейшего анализа нейросетью, эти кадры собираются в полноценное изображение по «строчкам» шириной 1 пиксель, примерно как линии при игре в тетрис. Полученный кадр нейросеть сравнивает с имеющимися в ее памяти данными и определяет, есть ли на изображении дефект.

Разработка системы оповещения

Особенностью производства углеродного волокна является то, что полотно жгутов распределяется и наматывается на бобины на разных приемных местах, расположенных на разных отрезках производственной линии. Чтобы оператор производственной линии мог быстро понять, на какие места приемной машины движется дефект, и сразу направиться в зону дефекта, мы придумали систему оповещения, которая включает три важных решения.

1. Световые индикаторы зон приемной машины (красный, желтый и зеленый) должны показывать, в какую зону намотки попадает готовый жгут и как быстро нужно принять меры по устранению дефекта.

2. Голосовое оповещение дублирует данные о дефекте. Это помогает ускорить получение оператором информации, когда он находится вдалеке от своего киоска с АРМ (автоматизированным рабочим местом) оператора. Уведомления записаны мужским и женским голосом — отдельно для каждого этажа, так оператор понимает, в какую зону ему подойти.

3. Каждому дефекту присвоили свой класс (числовой код от 1 до 9), чтобы оператор быстро понимал, насколько дефект критичен.

«Новая система оповещения очень удобна в эксплуатации. Теперь оператору не требуется непрерывно отслеживать полотно жгутов, он может заниматься съемом бобин с волокном, учетом готовой продукции и другими сопутствующими работами, не боясь пропустить дефект на волокне. Ведь система машинного зрения вовремя просигнализирует и привлечет его внимание», — рассказывает инженер-технолог производства углеродного волокна Алина Бутусова.

Запуск системы контроля качества волокна ML Sense

После тщательной подготовки и тестирования в нашей лаборатории система была готова к монтажу на объекте. Но на реальный производственный объект нельзя просто приехать для установки оборудования. Для допуска к производству работ создается пакет исходно-разрешительной документации, включая исполнительные схемы, допуски, ведомости, сметы, удостоверения и все прочее, что требовали регламенты ФЗ и ГОСТ. Наконец мы доставили, собрали и установили мачты с камерами на трех постах контроля качества завода. Блок с освещением был интегрирован в производственные конструкции так, чтобы не мешать производственному процессу и не изменять его.

Рядом с мачтой установлено автоматизированное рабочее место (АРМ) оператора системы ML Sense — это киоск с защитой IP65. Такая защита нужна, из-за того что углеродное волокно — токопроводящий материал, так же как и пыль, которая образуется в процессе производства. Установленная на приемной машине светосигнальная колонна загорается, когда в эту зону намотки катушек движется дефект. 

«При обнаружении дефекта система машинного зрения подает сигнал, и в зависимости от вида дефекта аппаратчик линии может либо устранить дефект, либо вовремя снять бобину с дефектным волокном. В обучение пользователей работе с системой были вовлечены как операторы линии и контролеры ОТК — непосредственные участники процесса, так и технологи, инженеры КИПиА, ИТР службы главного инженера. Именно благодаря совместному интересу и участию всех служб, работа шла эффективно и плодотворно. Некоторые решения по улучшению системы принимались на ходу во время обучения, и коллеги из Nord Clan сразу же их подхватывали», — рассказывает инженер-технолог производства углеродного волокна Алина Бутусова.

Алгоритмы системы ML Sense обрабатывают большой массив данных, моделируя из полученных кадров полноценное изображение и выявляя признаки дефектов на полученном фото. Для подобных высоконагруженных задач был установлен отдельный сервер. Однако в первое время выходил из строя стабилизатор напряжения, через который подключались серверы для работы системы. Это происходило из-за токопроводящей способности углеродного волокна и его пыли. Изначально серверы были установлены в отдельной комнате, но в ней часто открывалась дверь, и на оборудование попадало много пыли с производства. Серверы переместили в более защищенное помещение на территории завода, и проблема с перебоями напряжения была решена.

После первых запусков системы мы обнаружили вибрацию на нитях от намоточных машин. Камера фиксировала причудливые узоры, которые нейросеть детектировала как аномалии. Чтобы система игнорировала подобные события, добавили в систему дополнительный алгоритм из библиотеки системы ML Sense. Решение заработало в штатном режиме и было введено в эксплуатацию.

Нужно отметить, что технологи предприятия активно взаимодействовали с нами на каждом этапе внедрения системы. Руководители завода лично присутствовали на рабочих встречах по согласованию точек контроля дефектов и мест установки постов с АРМ оператора. Именно такая заинтересованность и вовлеченность в процесс внедрения новых технологий позволяет нам максимально эффективно использовать возможности решения ML Sense на пользу производству.

Обнаруженные дефекты отображаются в интерфейсе установленной системы: на временной шкале отмечены все события возникновения дефекта. По каждому событию можно просмотреть подробный отчет, где указано, в какой цветовой зоне находится жгут, на каких нитях обнаружен дефект и какой именно. Система контроля дефектов интегрирована с MES-системой завода.

«От внедрения системы машинного зрения мы ожидаем и экономический эффект в том числе. Каким он будет, покажет время. Но самый главный эффект, который мы ожидаем получить, — это высокая уверенность в качестве нашей продукции», — подчеркивает инженер-технолог производства углеродного волокна Алина Бутусова.