Техножрица 👩‍💻👩‍🏫👩‍🔧
14.1K subscribers
1.45K photos
66 videos
28 files
768 links
Люблю высокие технологии и кушать.

Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.
Download Telegram
Решила испытать возможности нового Kandinsky 2.2 в области смешивания пар изображений.

Больше о модели: https://habr.com/ru/companies/sberbank/articles/747446/
Больше о культурном феномене "ЖКХ АРТ": https://dvor.digital

#генерация
👍24😁10🔥53❤‍🔥3🥰1
Однажды, когда я была маленькой, у меня заболел молочный зуб. Но я не знала, как об этом сказать. Боль в зубе отличалась от тех видов боли, которые я знала до этого, поэтому я не догадалась, что это тоже называется словом "боль".

Я подошла к кому-то из взрослых и сказала "у меня чувства в зубе". Мне ответили "отстань". Но мне по-прежнему было больно. Поэтому я опять подошла и снова стала что-то мямлить. Взрослые, наконец, поняли, что к чему, сказали, что "он у тебя болит наверное потому что не чистила давно" и отправили чистить зубы зубной щеткой.
Но боль никуда не делась.
Так я поняла, что плоть слаба, и слабость моей плоти внушила мне отвращение.

Вечером пришла бабушка, и я сказала ей, что у меня "болит зуб". Бабушка приказала открыть рот.
Я открыла.
Бабушка сказала "Ээ, да он у тебя весь черный, да еще и шатается сильно. Вырвать его надо."
Я испугалась, но бабушка заверила меня, что будет совсем не больно, как комарик укусит.
После этого бабушка засунула руку мне в рот и резко выкрутила зуб из десны.
Я заплакала, убежала и спряталась под гору тряпок под смех взрослых, глотая кровь.

Под этой горой тряпок лежали книга "Что есть что: атомная энергия", фонарик и калькулятор.
Я сидела там очень-очень долго и читала эту книгу с фонариком до тех пор, пока у меня не выросли механодендриты, провода и трубки, такие же, как на картинках про ядерный реактор.

Так я стала техножрицей.

#о_себе
🔥121🫡3217😢9😱8❤‍🔥6🤣6🤮3🤔2👌2🙏1
Старый добрый комикс, иллюстрирующий принцип "garbage in -> garbage out" в машинном обучении. ⬇️
Разбираю сейчас различные статьи с анализом размерности внутренних представлений трансформеров и вижу, что целый ряд работ проводит такой анализ в контексте файнтюнинга, показывая, что для успешного файнтюнинга достаточно вносить изменение лишь в небольшом подпространстве параметров (например, вот одна из наиболее свежих на данную тему, содержащая множество ссылок на другие работы: https://aclanthology.org/2023.acl-long.95/ ).

Посмотрела я на это и подумала: не подобными ли аналитическими статьями вдохновились и создатели крайне популярного сейчас подхода LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS ( https://openreview.net/forum?id=nZeVKeeFYf9 )?

И в самом деле, заглянув в статью про LoRA, я обнаружила, что авторов привело к их замечательному изобретению в том числе чтение статей на данную тему, таких, как: 1) Measuring the Intrinsic Dimension of Objective Landscapes, 2018 ( https://openreview.net/pdf?id=ryup8-WCW ); 2) Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning ( https://aclanthology.org/2021.acl-long.568/ ) - см. Рис. 1 (интересно, что первая статья выглядит процентов на 90 как аналитическая-описательная, да и вторая тоже).

Вот так вот статьи с тщательным анализом внутренних представлений и процесса обучения моделей могут привести к большому прорыву и в чисто практических вещах, после того, как их прочитают и намотают на ус умные люди.

#объяснения_статей
🔥246👍6🤮21
Тем временем паблик "КРИНЖ", посвященный мемам и рассказам про сомнительные, либо не относящиеся к науке, либо просто забавные статьи/монографии из РИНЦ, опубликовал мини-расследование с использованием некоторых моих старых постов про генетическую музыку (таких, как https://xn--r1a.website/tech_priestess/719 и 4 поста ниже). ⬇️

#научная_поллюция
👏81👎1
Минобрнауки и ИМАШ РАН: 158 миллионов на лженаучное госзадание

Что там было в прошлый раз? Гранты РФФИ на биорезонанс на 14 миллионов рублей? Детский лепет. Пристегните ремни, сегодня будет даже что-то покруче.

Сегодня мы поиграем в генетический бисер и узнаем, как Минобрнауки поддерживает талантливых музыкантов, играющих на спирали ДНК. Талантливые музыканты, кстати, по знакомству публикуют свои опусы в журналах, издаваемых Elsevier и MDPI.

Музыка, похоже, успела стать приоритетным направлением в нашей стране, поэтому на коллективы музыкантов и идеи можно брать особенно большие гранты и госзадания. Берите на заметку, господа научные руководители.

https://telegra.ph/MINOBR-i-IMASH-RAN-158-millionov-na-lzhenauchnye-goszadaniya-07-17
🤯22🔥7👍3😁1💊1
Что-то день у меня сегодняшний не заладился: всю ночь болел желудок, а когда пошла чистить зубы, так вообще вырвало. Стоит ли говорить, что после этого я весь день чувствовала себя как зомби.

Хорошо, что на глаза попалась реклама очередных нелепых ИИнфобизов (рис. 1), которая сумела взбодрить меня и вернуть к жизни! Сама фраза "аналог ChatGPT на русском" уже сходу удивила своей бесмысленностью: ведь оригинальный ChatGPT и так может генерировать на русском, так что же это за "аналог", который делает точно то же самое?
Перейдя по рекламе на сайт https://turbotext.pro/ai , я начала смотреть, что же из себя представляет данное творение. Бесплатно оказались доступны лишь две попытки генерации, но обойти это ограничение оказалось легко, переключая ip-шники в VPN-приложении (по две генерации можно делать с каждого ip).
Быстро выяснились следующие факты:
а) большая часть знаний модели о событиях ограничена осенью 2021-го;
б) при генерации на английском всплывает фраза "as an AI language model".
в) на прямой вопрос о том, что из себя представляет данная модель, она также подтвердила, что основана на ChatGPT (рис. 2).
Но больше всего меня удивило в данной генерации не это (это как раз было ожидаемо), а то, какой компании было приписано создание ChatGPT 🤔
Начав расспрашивать модель подробнее (рис. 3-6), я проорала в голос. 😂
Между прочим, напомню, что файн-тюнить ChatGPT пользователям OpenAI в данный момент не дает ( https://platform.openai.com/docs/guides/fine-tuning ), а значит фраза "базирована на ChatGPT" на деле означает, что это даже не дообученная версия, а буквально ChatGPT, только с дополнительными промптами и/или постпроцессингом, которые срывают ему кукуху и заставляют верить в то, что его создал TurboText, а не OpenAI. 🤣

Просит же turbotext за использование того же ChatGPT под другим названием 150р в день с ограничением в 200 генераций (рис. 7), что, конечно, во много раз дороже, чем использование ChatGPT через API. 🤡 Ох уж эти ИИнфобизы, каждый раз находят, чем рассмешить.

#ИИнфобизнес
🤡31😁97👍2💩2🙈2👎1🥱1