Особенности разработки MVP модели для слежения за сотрудником

Сегодня расскажем про один наш кейс из жизни команды разработки компьютерного зрения. Полную версию Владимир, дата сайнтист в Гаоди, выложил на хабре, а здесь сделали выжимку.

Суть задачи
Дано: строго регламентированная последовательность операций, производимая над образцом работниками производства.
Проблема: нарушение последовательности выявляется только на стадии эксплуатации изделия и ведет к его поломкам.
Что требуется: организовать real-time систему слежения за сотрудниками и предупреждения нарушения регламента с помощью умных камер.

В чем сложности?
Наш заказчик - крупный серийный производитель, съемка на котором попадает под NDA, поэтому для нас было доступно только одно видео с последовательностью действий работника.
Просмотрев его, мы выделили 5 последовательных операций. Так как других данных для обучения у нас не было, пришлось искать аналогичные действия, но уже в открытых датасетах.

Мы выбрали датасет Kinetics-700, состоящий из 700 классов. Запустив предобученную MoviNet модель на нашем тестовом видео, для ручной проверки были отобраны классы, которые выдали наибольшую вероятность на видео и те, у которых аналогичное название (укладка детали на рабочий стол = укладка плитки).

Некоторые классы были исключены после просмотра первых 20 видео, как нерелевантные. Если же на видео действия кажутся похожими на производственные, то просматриваются все 1000 экземпляров класса и выбираются наиболее близкие к искомым. Таким образом, просмотр, сортировка и фильтрация 40000 клипов и отбор 1500 релевантных из них заняли почти неделю работу двух дата сайнтистов.

Что получилось в итоге
Наша модель, дообученная на новом датасете, показала неплохие результаты на тестовом видео и смогла дифференцировать (отличить) 3 из 5 операций. Но еще остались 2 операции, для которых примеров из выборки не хватило, но это уже будет наш следующий гоал.

#устамиинженера

Когда на производственной площадке временная загруженность штатного персонала 150% из-за сразу нескольких огромных проектов, то к делу подключаются внештатные сотрудники, готовые работать за еду. Кстати, все чаще слышим пожелания от коллег, что неплохо было бы сделать дог-френдли офис…Поделитесь вашим мнением и опытом по поводу pet-friendly компаний: вы за или против?

Буквально в мае мы наблюдали за новостями завода по производству наших серверов OpenYard. Тогда писали, что завод готовится к открытию, и что в планах на 24 год - занять около 10% рынка. По рынку ходили слухи о размахе строительства и оснащению их производственной площадки. Мы, честно говоря, даже им завидовали. Завод, кажется, успешно запустили.

Но прошло пару месяцев, и картина слегка изменилась. Яндекс и Ланит решили продать свои доли в совместном предприятии. Что будет дальше с ОпенЯрдом – не ясно.

Нам видится здесь несколько причин таких действий:
1) Разделение Яндекса на российский и нероссийский. По нашим данным, самая интеллектуальная разработка серверов уезжает, потому что здесь крайне тяжело добывать документацию. И, кажется, наш Яндекс и тот Яндекс, «дружить» не будут. Работать в отрыве, видимо, даже такой гигант побоялся. Яндекс хочет сконцентрироваться на своей профильной деятельности, а не тратить время на «сложные проекты, которые отнимают слишком много ресурсов и внимания».
2) Отказ Gigabyte сотрудничать с российскими заказчиками. Тайваньские компании очень ориентированы на США. Gigabyte прочили в совладельца компании. Но теперь, кажется, Gigabyte перестал отвечать на почту, не пишет, не звонит…😊

Больше всего нас сейчас волнует судьба производственной площадки, ведь туда уже столько привезли оборудования и шла активная работа по инсталляции линии. Опять ждем Росатом...?

#новостиэлектроники

Пока Максут Игоревич героически разбирается в «чистоте» выданных грантов и временно приостанавливает получение новых, Аквариус начинает собственную разработку телекоммуникационного оборудования и намерен вложить в это дело 3 млрд. руб.

Это все, конечно, хорошо, что такие деньги «идут» в отрасль, но нас тут волнует кадровый вопрос. Компания собирается нанять порядка 100 новых сотрудников, - пишут СМИ.
Аквариус, остановитесь!🙏 Предлагаем законодательно запретить бегать по рынку и переманивать такое количество людей. Хотя бы пока мы не укомплектуем штат. А то у нас тут новая производственная площадка вот-вот откроется…

#новостиэлектроники

Мы, конечно, очень рады за руководство компании ФГУП НПП Гамма, но почему они? Почему 1,54 млрд руб. выделяют не Эльбрусу или Байкалу, которые уже что-то сделали в мире микроэлектроники?

Некий аноним рассказывает Cnews, что Гамма затеяла целую лабораторию, где будет разработка чипов, их тестирование и выпуск. Назвали это все «смесью “Байкала” с “Микроном”». Взболтать, но не смешивать...Любопытная формулировочка.

Кстати, о Байкале. У ребят воскрес сайт! Дела, кажется, налаживаются!

#новостиэлектроники

🪟Панорамные окна! Именно такие будут на новой производственной площадке в Электростали. Все как в лучших ЖК мегаполисов. Развиваем Московскую область.

#гаоди

📦 Мы не только разработчики и производители электроники, но и гуру логистики. А как иначе, если приходится каждый день отгружать сотни терминалов обработки данных серьезному клиенту?

#гаоди

Тут, говорят, Байкал захантил крутые кадры. Максим Маслов, известный ARM мастер, теперь возглавит только что образовавшийся департамент разработки AI-решений.

Верим, что команда разработки не «утонет» в новой нише, и с нетерпением ждем ваш новый ИИ-процессор, Baikal Electronics! А то у нас есть всякие AI-наработочки, которые очень кстати можно будет запустить на вашем процессоре.

#новостиэлектроники

Это к нам приехала еще одна SMT-линия. На новую площадку.

#гаоди

Теперь понятно, кто уже пользуется МосХабом. 3 тысячи государственных разработчиков. Вероятно, что все ВНИИ, ФГБУ и примкнувшие к ним ИТ-интеграторы на гос. проектах. Они убедительно попросили своих сотрудников зарегистрироваться на Mos.Hub. Коммерческие разработчики тоже со временем подтянутся, но пока, очевидно, что это государственная аудитория.

Вангуем, что наличие проекта в отечественном репозитории будет давать дополнительные баллы при включении продукции в реестр Минпрома или Минцифры. Или просто будет обязательным требованием.

#новостиэлектроники

7750 шт, 170 т и 5860 м3 в собранном виде - вот сколько терминалов обработки данных мы отгрузили заказчику за 1,5 месяца. Приятные циферки получаются.

#гаоди

Раньше у нас развивали и поддерживали нефтяные вышки. Времена изменились, а тяга к вышкам осталась. Yadro получила от правительства субсидию на разработку отечественных базовых станций в размере 3,5 млрд руб. Правда компания надеялась получить хотя бы 7 млрд руб, то есть 50% от собственных вложений, но...

Ядро, мы верим, вы справитесь. Несмотря на то, что пока вам недодали несколько миллиардов.

🧐А мы на мгновение задумались о новом направлении в Гаоди – разработка серверных вышек.

#новостиэлектроники

TSMC вовсю готовятся к стройке своего завода в Дрездене. Восточная Германия слегка заволновалась. Кадровый вопрос в сфере микроэлектроники обостряется. И хватит ли в Германии кадров для нового предприятия TSMC – большой вопрос.

Очевидно, что, если вы строите большой завод, то однозначно столкнётесь либо с нехваткой кадров, либо с их недостаточной квалификацией. Мы это понимаем, поэтому во всю развиваем программы привлечения и подготовки кадров.

Надеемся, что в Восточной Германии тоже найдут варианты утоления кадрового голода.

#новостиэлектроники

🇨🇳 Укрепляем российско-китайские связи. Встретились в Москве с нашими партнерами по корпусам и дизайн-хаусом Intel решений.

#гаоди

T8, известные Национальные чемпионы, теперь вместо Nokia поставляют отечественные каналообразующие блоки телекоммуникационных установок.

Хочется верить, что Т8 не только импортозамещают оптические кабели, но и занимаются клонированием разработкой чемпионских чипов для телекома, по примеру Huawei.

Если так, то ждем, что через 20 лет отечественные атланты из T8 подвинут настоящий Хуавей на китайском и мировом рынках.

#новостиэлектроники