Forwarded from Мишин Лернинг
🦌🎄One Hyper-Modal Transformer can be
Creative as DALL-E and Smart as CLIP
Встречайте, RuDOLPH! Текстово-визуальный гипермодальный GPT-3 (350M), сочетающий в себе генеративные возможности текстового GPT-3 и текст-картиночного DALL-E с Reranking & Zero-Shot способностями CLIP.
👀 см картинки к посту
Гипермодальный RuDolph может:
▪️ Генерировать текст
▪️ Генерировать изображения по тексту
▪️ «Проявлять» диффузией в высоком качестве и разрешении сгенерированные изображения
▪️ Изменять (inpainting) изображения по описанию
▪️ Генерировать текстовые описания для изображений
▪️ Быть Feature Extractor’ом для few-shot и linear probe классификации
▪️ Ранжировать изображения по текстовому описанию
▪️ Классифицировать изображения в режиме Zero-Shot
💻 Git Код + Веса
📰 Paper [soon]
🦌 HF demo (только 4 картинки)
🤗 Model Card
🔮 Colab со всеми возможностями
Creative as DALL-E and Smart as CLIP
Встречайте, RuDOLPH! Текстово-визуальный гипермодальный GPT-3 (350M), сочетающий в себе генеративные возможности текстового GPT-3 и текст-картиночного DALL-E с Reranking & Zero-Shot способностями CLIP.
👀 см картинки к посту
Гипермодальный RuDolph может:
▪️ Генерировать текст
▪️ Генерировать изображения по тексту
▪️ «Проявлять» диффузией в высоком качестве и разрешении сгенерированные изображения
▪️ Изменять (inpainting) изображения по описанию
▪️ Генерировать текстовые описания для изображений
▪️ Быть Feature Extractor’ом для few-shot и linear probe классификации
▪️ Ранжировать изображения по текстовому описанию
▪️ Классифицировать изображения в режиме Zero-Shot
💻 Git Код + Веса
📰 Paper [soon]
🦌 HF demo (только 4 картинки)
🤗 Model Card
🔮 Colab со всеми возможностями
🔥9
Forwarded from kyrillic
Невероятно увлекательное чтиво в нескольких частях от Patrick Finlay о том, как они прошли в YC без продукта, с трудом собирали и все-таки собрали раунд на $2M, неоднократно пивотились, в итоге не смогли взлететь и закрыли компанию.
Во-первых, их история попадания в YC в нескольких главах намного более драматичная, чем наша. Отчасти и потому, что все происходило вживую в Маунтин Вью. Там можно послушать (!) голосовое сообщение кофаундерам с новостью об инвестициях от YC. Кроме этого в тексте множество очень примечательных маленьких деталей.
Во-вторых, автор очень талантлив в таком стиле изложения, получилось очень художественно, при этом текст наполнен полезностями для всех новоиспеченных основателей стартапов.
В-третьих, долгий и очень искренний текст-рефлексия о том, что в итоге все пошло не очень хорошо. Не могу даже представить, как тяжело было писать такое.
Возможно это лучшее, что я вообще читал про стартапы.
@kyrillic
Во-первых, их история попадания в YC в нескольких главах намного более драматичная, чем наша. Отчасти и потому, что все происходило вживую в Маунтин Вью. Там можно послушать (!) голосовое сообщение кофаундерам с новостью об инвестициях от YC. Кроме этого в тексте множество очень примечательных маленьких деталей.
Во-вторых, автор очень талантлив в таком стиле изложения, получилось очень художественно, при этом текст наполнен полезностями для всех новоиспеченных основателей стартапов.
В-третьих, долгий и очень искренний текст-рефлексия о том, что в итоге все пошло не очень хорошо. Не могу даже представить, как тяжело было писать такое.
Возможно это лучшее, что я вообще читал про стартапы.
@kyrillic
👍1🔥1
🦌🎄☃️
Самое первое практическое применение РУдольфыча и гипермодальных трансформеров.
Задача предсказания КБЖУ по фотке еды скорее не решенная и вряд ли будет решена, просто потому что нельзя предсказать что внутри пирожка.
Ну а мне скучно поэтому я обучил задачу i2t в рудольфыче генерировать КБЖУ
тыкать тут: https://18659.gradio.app
Ноутбуки с примерами фанйтюна на разные задачи выйдут на днях, мы их готовим
Самое первое практическое применение РУдольфыча и гипермодальных трансформеров.
Задача предсказания КБЖУ по фотке еды скорее не решенная и вряд ли будет решена, просто потому что нельзя предсказать что внутри пирожка.
Ну а мне скучно поэтому я обучил задачу i2t в рудольфыче генерировать КБЖУ
тыкать тут: https://18659.gradio.app
Ноутбуки с примерами фанйтюна на разные задачи выйдут на днях, мы их готовим
👍6🔥3
Чем чаще молодой человек повторяет как мантру: 'я всего добился сам'
Но при этом ничего кроме блога не ведет тем чаще оказывается что перед вами ребенок богатых родителей и его достижения основаны на деньгах родителей.
я очень четко понимаю для себя что мне часто помогали знакомые и незнакомые люди в нужный момент времени.
Спасибо вам!
Но при этом ничего кроме блога не ведет тем чаще оказывается что перед вами ребенок богатых родителей и его достижения основаны на деньгах родителей.
я очень четко понимаю для себя что мне часто помогали знакомые и незнакомые люди в нужный момент времени.
Спасибо вам!
Не умеющий любить и принимать себя человек все же способен гордиться своими достижениями. Но эта гордость является не любовью, а радостью обладания. В этой гордости есть раскол, расщепление, неспособность воспринимать себя как единое целое. Такой человек может даже заботиться о себе, но эта забота сродни заботе о полезном инструменте – предмете гордости. Вообще, это не гордость даже, а бахвальство, адресованное окружающим сообщение. Точно так же менее искушенный человек гордится машиной, телефоном или одеждой, которая ему не по карману. В этом смысле честолюбие часто является формой глупости и недальновидности, более изощренной, но не менее вредной для носителя, чем условный айфон в кредит у провинциального клерка. Подразумевается, что каждый может преодолеть это, но тут работают те же закономерности, что и везде – быт определяет поведение. Нужно воздействие извне, изменение окружения. Статистика по ожирению, курению, алкоголизму показывает, что желания и целенаправленных действий определенного человека мало для изменения своей жизни. Ситуация с «айфонами» и «самореализацией» в этом смысле даже хуже, потому что соответствующие культы не только не клеймят, а, наоборот, продвигают.
👍7😢2
#чтивонаночь
Avbert
Facebook выпустил прикольный ресерч про multimodal Bert который позволяет по видео и аудио делать stt
Blog
Git
Avbert
Facebook выпустил прикольный ресерч про multimodal Bert который позволяет по видео и аудио делать stt
Blog
Git
Facebook
AI that understands speech by looking as well as hearing
To help build more versatile & robust AI speech recognition tools, we are announcing Audio-Visual HuBERT (AV-HuBERT), a state-of-the-art self-supervised framework for understanding speech that learns by observing & hearing people speak
👍1
От себя добавлю что тема крайне интересная.
Давным-давно известно, что многослойные нейронные сети являются универсальными аппроксиматорами, то есть с их помощью можно приблизить любую "достаточно хорошую" функцию с любой наперед заданной точностью. Классическая теория предсказывает вполне определенные степенные зависимости между сложностью модели и точностью аппроксимаций функций данного класса гладкости при условии непрерывной зависимости параметров модели от аппроксимируемой функции. Оказывается, что эти зависимости могут нарушаться, если в качестве модели использовать очень глубокие и узкие нейронные сети и не требовать упомянутой непрерывности. Этот эффект имеет место при обычных функциях активации, например ReLU. Кроме того, существуют определенные "сверхвыразительные" наборы функций активации, которые теоретически позволяют аппроксимировать любую непрерывную функцию с любой точностью одной сетью с фиксированным числом нейронов (не зависящим от точности). Этот результат тесно связан с теоремой Комогорова(-Арнольда) о представлении функций многих переменных. Примером сверхвыразительного набора является {sin, arcsin}. При этом, обычно применяемые на практике функции активации не являются сверхвыразительными.
Обо всем этом более подробно расскажет Дмитрий Яроцкий из Сколтеха на очередном научно-техническом вебинаре НТР и HITs ТГУ.
Когда: 11 января 2022, 16:00 MCK
Где: Zoom.
Давным-давно известно, что многослойные нейронные сети являются универсальными аппроксиматорами, то есть с их помощью можно приблизить любую "достаточно хорошую" функцию с любой наперед заданной точностью. Классическая теория предсказывает вполне определенные степенные зависимости между сложностью модели и точностью аппроксимаций функций данного класса гладкости при условии непрерывной зависимости параметров модели от аппроксимируемой функции. Оказывается, что эти зависимости могут нарушаться, если в качестве модели использовать очень глубокие и узкие нейронные сети и не требовать упомянутой непрерывности. Этот эффект имеет место при обычных функциях активации, например ReLU. Кроме того, существуют определенные "сверхвыразительные" наборы функций активации, которые теоретически позволяют аппроксимировать любую непрерывную функцию с любой точностью одной сетью с фиксированным числом нейронов (не зависящим от точности). Этот результат тесно связан с теоремой Комогорова(-Арнольда) о представлении функций многих переменных. Примером сверхвыразительного набора является {sin, arcsin}. При этом, обычно применяемые на практике функции активации не являются сверхвыразительными.
Обо всем этом более подробно расскажет Дмитрий Яроцкий из Сколтеха на очередном научно-техническом вебинаре НТР и HITs ТГУ.
Когда: 11 января 2022, 16:00 MCK
Где: Zoom.
👍8
В начале Лего, потом робопенис на Ардуино, а потом полюбил торч.
Каждый выбор имеет последствия.
Каждый выбор имеет последствия.
👍25🎉3😢1
Love. Death. Transformers.
🦌🎄☃️ Самое первое практическое применение РУдольфыча и гипермодальных трансформеров. Задача предсказания КБЖУ по фотке еды скорее не решенная и вряд ли будет решена, просто потому что нельзя предсказать что внутри пирожка. Ну а мне скучно поэтому я обучил…
Собрал демку на HF spaces https://huggingface.co/spaces/AlexWortega/food_calories
huggingface.co
Food_calories - a Hugging Face Space by AlexWortega
Discover amazing ML apps made by the community
👍7🔥1
Forwarded from Тёмная сторона / Темнографика
Вот тебе 100 тысяч рублей
1. Самый быстрый и дешёвый способ проверить основателя начинающего стартапа на профпригодность. «Вот тебе сто тысяч рублей на месяц на найм нового сотрудника». А через месяц прийти и проверить, что произошло с выручкой.
2. Если никого не успел нанять — значит не умеет нанимать или ищет волшебных людей типа «отличного продажника». Если нанял, а выручка не выросла — значит, он не понимает, как масштабироваться. То есть нанимает не тех не на то и не для того.
3. Ведь масштабирование — это как раз про найм большего количества людей, заряжаемых на кратный рост выручки. Если он 100 тысяч рублей на это разумно потратить мне может, то он так же просрёт и 100 тысяч долларов, и миллион.
4. Вся прелесть метода в том, что у большинства из нас наверняка найдётся 100 тысяч рублей 😉 Тренируйтесь на здоровье.
---
➤➤ Новые интересные стартапы: fastfounder.ru
1. Самый быстрый и дешёвый способ проверить основателя начинающего стартапа на профпригодность. «Вот тебе сто тысяч рублей на месяц на найм нового сотрудника». А через месяц прийти и проверить, что произошло с выручкой.
2. Если никого не успел нанять — значит не умеет нанимать или ищет волшебных людей типа «отличного продажника». Если нанял, а выручка не выросла — значит, он не понимает, как масштабироваться. То есть нанимает не тех не на то и не для того.
3. Ведь масштабирование — это как раз про найм большего количества людей, заряжаемых на кратный рост выручки. Если он 100 тысяч рублей на это разумно потратить мне может, то он так же просрёт и 100 тысяч долларов, и миллион.
4. Вся прелесть метода в том, что у большинства из нас наверняка найдётся 100 тысяч рублей 😉 Тренируйтесь на здоровье.
---
➤➤ Новые интересные стартапы: fastfounder.ru
Мальчик: сядь мне на лицо
Мужчина: у меня одна только радость на лице, ведь всегда найдется такая точка цэ...
Мужчина: у меня одна только радость на лице, ведь всегда найдется такая точка цэ...
🔥7
#чтивонаночь
Один из подписчиков собрал такую штуку: линк
По сути: загоним картинки в CLIP и прогоним UMAP, а затем hdbscan на поиск кластеров.
К подходу есть только один вопрос: нахуя...
Один из подписчиков собрал такую штуку: линк
По сути: загоним картинки в CLIP и прогоним UMAP, а затем hdbscan на поиск кластеров.
К подходу есть только один вопрос: нахуя...