Сортировка картинок нейросетью

Нейросети уже давно могут распознавать объекты на изображении, но это как то мелковато...
Можно после распознавания изображения взять весь вывод нейросети и сравнить все значения со всеми значениями других картинок, получив процент схожести. Затем сделать сериацию в одномерной проекции через t-SNE или UMAP что бы распределить ближайшие изображения.
Тем самым получив линейный ряд, где соседние картинки похожи по смыслу изображённого.

Инструкция
—Установить питон.
—Открыть терминал CMD (Win+R cmd Enter)
—Перейти на рабочий стол в терминале (команда cd Desktop либо cd "%USERPROFILE%\Desktop")
—Установить всякую фигню для работы с нейросетями

pip install numpy tqdm scipy torch torchvision Pillow faiss-cpu

—Поместить скрипт на рабочий стол
—Cоздать на рабочем столе папку input_images и скопировать туда ваши изображения которые хотите отсортировать
—Запустить скрипт python NEURAL-SORT_v3.py

Код устарел, используйте NEURAL-SORT_v3.py https://tttttt.me/my_content/16730
———
upd v2: обновление для работы с сотянми тысяч картинок
—база данных изменена с json на sql
—теперь будет дозаписывать в базу новые картинки если они не были в базе ранее, путей нет только имена
—матрица схожести кодирует float32, если нехватка памяти то float16, если и так нехватка, то работают только tsne и umap внутренними инструментами делая мини-матрицу самых ближайших
upd ещё:
—для 20к+ картинок форсируется метод UMAP без матрицы
—Улучшен параметр --more_scan

Поскольку в России до сих пор блокируют CloudFlare, нейросеть по умолчанию может не скачиваться без впн или обхода по DPI
Поэтому вот файлом, распаковать на рабочий стол (там где сам код), код подхватит

DZgas. Парень с лицом. 2022

Статья 13.53.
Поиск заведомо экстремистских материалов и получение доступа к ним, в том числе с использованием программно-аппаратных средств доступа к информационным ресурсам, информационно-телекоммуникационным сетям, доступ к которым ограничен

Умышленное осуществление поиска в информационно-телекоммуникационной сети «Интернет» заведомо экстремистских материалов, включенных в опубликованный федеральный список экстремистских материалов или указанных в пункте 3 статьи 1 Федерального закона от 25 июля 2002 года № 114-ФЗ
«О противодействии экстремистской деятельности», и получение доступа к ним, в том числе с использованием программно-аппаратных средств доступа к информационным ресурсам, информационно-телекоммуникационным сетям, доступ к которым ограничен, -
влечет наложение административного штрафа на граждан в размере от трех тысяч до пяти тысяч рублей.»;

https://sozd.duma.gov.ru/bill/755710-8
Текст законопроекта ко второму чтению с учетом поправок, рекомендуемых ответственным комитетом к принятию (Комитет Государственной Думы по государственному строительству и законодательству)

Отличная репрезентация текущей самоцензуры вызванная черезмерным запугиванием
Забавно что леволиберальная повестка работает по похожему способу — как частный пример: правила того, что запрещено показывать и говорить на твиче, нету никакого списка слов запрещающего говорить про пидорасов ебаных, но за это тебя забанят