Forwarded from ду́но
Мы ищем стажеров!
👩🌾
Тестовые задания и подробные описания позиций можно найти по ссылкам выше, дедлайн подачи заявки — 15 августа.
- - —
@dunnolab
👩🌾
shorties — это персональная программа, в которой мы выращиваем таланты до полноценных Research Engineer’ов или Research Scientist’ов в зависимости от ваших интересов.🔭 Intern Research Scientist
Вы будете заниматься написанием статей на top-tier ИИ конференции (NeurIPS, ICLR, ICML) и участием в научном дискурсе: проведение экспериментов, проверка и генерация исследовательских идей, которые направлены на развитие научного знания.
🧪 Intern Research Engineer
Вы будете заниматься созданием новых frontier-технологий и применением Reinforcement Learning в реальных задачах.
Тестовые задания и подробные описания позиций можно найти по ссылкам выше, дедлайн подачи заявки — 15 августа.
- - —
@dunnolab
👍18🔥3🤡2
Love. Death. Transformers.
Произошел релиз ллама 3 https://llama.meta.com/ - 128к токенов, какие то дистиляции и 405б версия
Эм погодите, это что выходит gpt4о level в паблике? А что там с gpt4.5?
😨62❤5🔥3😁2👍1 1
Чем больше я общаюсь с openai челами, тем больше ржу со слов про agi за три года и agi achieved internally
На конференции есть три задачи:
- набухатся за счёт квантов
- не ходить на работу не беря отпуск
- приехать с рюкзаком, уехать с чемоданом мерча
- набухатся за счёт квантов
- не ходить на работу не беря отпуск
- приехать с рюкзаком, уехать с чемоданом мерча
❤133 23💋18👍14💅4 3👏1🤡1
Новая модель мистраля неплохая, но они не оплачивают бар на своем afterparty так что мы такое не любим.
Скачать тут
Скачать тут
🔥68🥴13❤1👍1
Forwarded from black_samorez
Записали на студии Яндекса видео с объяснением метода статьи и результатов.
Если кто-то будет завтра гулять по постер сессии на ICML - заходите, поболтаем.
Если кто-то будет завтра гулять по постер сессии на ICML - заходите, поболтаем.
YouTube
[ICML24] AQLM: Extreme Compression of Large Language Models via Additive Quantization
Short video describing our ICML 2024 paper on Extreme Compression of Large Language Models via Additive Quantization. Arxiv:2401.06118
👍17🔥5
Лютая хуйня, openai будут заливать инвест бабки, как тот же uber, у ребят есть шансы подмять все и инвесторы это не упостят
https://www.datacenterdynamics.com/en/news/openai-training-and-inference-costs-could-reach-7bn-for-2024-ai-startup-set-to-lose-5bn-report/
https://www.datacenterdynamics.com/en/news/openai-training-and-inference-costs-could-reach-7bn-for-2024-ai-startup-set-to-lose-5bn-report/
DCD
OpenAI training and inference costs could reach $7bn for 2024, AI startup set to lose $5bn - report
Details leak about its Microsoft Azure compute cluster
👍19🌚12😁1
Eastern Europe research - мы считаемся на майнинг кластере, в лабе можно курить
Western Europe research - тканевый постер можно использовать как простынь
Western Europe research - тканевый постер можно использовать как простынь
😢54😁15🐳7❤4🌚3😈1
Forwarded from Blind Feed
A Girl's Perspective on Bay Area Men
lownhq @ Meta
Hi everyone, as a gal, I am offering you my view on why many of you are not getting laid for years on end. First of all, most tech workers over here are bottom of the barrel in terms of sexual attraction anywhere in the world. Your job and salary and maybe education can compensate to a point, but they still don't fully address the attraction gap. If you moved elsewhere in the United States, you won't do much better. If you go to a 3rd world non-white country, you might do a lot better due to different standards of beauty. Second, being a millionaire SWE with a TC over 500k over here is not that big of a deal especially when the guy is too busy with work most of the time and boring outside of work. Girls want someone who makes their lives better and more interesting, not a drone with a bigger bank account. Third, there area lots of high quality men in the Bay Area and tech guys are at the bottom of the pyramid. There are men with generational wealth, corporate execs, successful startup founders, VCs, private equity guys, not to mention doctors, lawyers, and professors at Berkeley and Stanford. SWEs are just the minions who work for all these other people to put it bluntly. At the director level, tech guys start to have a chance to compete with other types of guys. I personally put an engineering director at first and second tier companies on the same level as a successful doctor or big law lawyer.
What I said above applies for women under the age of 35. Between the ages of 35 to 40, women will start to lower their standards especially if the man is younger than her. The market skews in favor of men starting around the age of 40 as women start thinking about menopause.
Yes, I know this is harsh, but I think knowing the truth can't hurt because then you can plan accordingly. The bar for men in the Bay Area is really high and it's not fair for you guys. But that's how the world is.
@blind_feed
lownhq @ Meta
Hi everyone, as a gal, I am offering you my view on why many of you are not getting laid for years on end. First of all, most tech workers over here are bottom of the barrel in terms of sexual attraction anywhere in the world. Your job and salary and maybe education can compensate to a point, but they still don't fully address the attraction gap. If you moved elsewhere in the United States, you won't do much better. If you go to a 3rd world non-white country, you might do a lot better due to different standards of beauty. Second, being a millionaire SWE with a TC over 500k over here is not that big of a deal especially when the guy is too busy with work most of the time and boring outside of work. Girls want someone who makes their lives better and more interesting, not a drone with a bigger bank account. Third, there area lots of high quality men in the Bay Area and tech guys are at the bottom of the pyramid. There are men with generational wealth, corporate execs, successful startup founders, VCs, private equity guys, not to mention doctors, lawyers, and professors at Berkeley and Stanford. SWEs are just the minions who work for all these other people to put it bluntly. At the director level, tech guys start to have a chance to compete with other types of guys. I personally put an engineering director at first and second tier companies on the same level as a successful doctor or big law lawyer.
What I said above applies for women under the age of 35. Between the ages of 35 to 40, women will start to lower their standards especially if the man is younger than her. The market skews in favor of men starting around the age of 40 as women start thinking about menopause.
Yes, I know this is harsh, but I think knowing the truth can't hurt because then you can plan accordingly. The bar for men in the Bay Area is really high and it's not fair for you guys. But that's how the world is.
@blind_feed
💊44👍12💯7🤡5❤4😢4🆒2 2😁1
Естественная мужская потребность поставить печку в спешалти кофейне.
К слову отличный кофе наливают в the good coffe society
К слову отличный кофе наливают в the good coffe society
🤡35🔥17😁5👍4❤1🤔1💩1
Forwarded from ML Underhood
Видеоигры из фото и другие крутые доклады с ICML 2024
Прямо сейчас проходит международная конференция по машинному обучению ICML 2024. Александр Шишеня и Сергей Овчаренко из службы компьютерного зрения Яндекса выбрали интересные доклады, которые уже представили на мероприятии.
Туториал Physics of Language Models
Прорывной доклад первых двух дней о построении AGI на LLM. Авторы обнаружили два уровня рассуждения (reasoning) для моделей. На первом LLM могут выучивать графы причинно-следственных связей для сложных задач и делать топологическую сортировку для понимания порядка вычисления в этом графе. А на втором модель заранее просчитывает все промежуточные данные для построения ответа.
Ошибки случаются, но, благодаря linear probe, LLM с вероятностью 99% сама предсказывает, где промахнется. Исправить, правда, не сможет, поэтому рекомендуется добавлять в обучающую выборку CoT-примеры с ошибками и их исправлением.
Genie: Generative Interactive Environments
Доклад от DeepMind, сотрудники которого обучили две модели на датасете из видеоигр — в основном, 2D-платформерах. Одна модель кодирует возможные действия игрока в латентное дискретное пространство, а другая — предсказывает следующие фреймы по предыдущим. В итоге Genie способна генерировать видеоигровые уровни из текстовых промтов, рисунков и фотографий. Статья получила награду Best Paper Award.
Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization
Доклад об авторегрессионной модели, способной предсказывать текстовые токены и видео. Она обучена на next-token prediction с диффузионной моделью для генерации кадров в пиксельном пространстве и motion-векторы. С помощью DDIM-инверсии получают «шумную» версию последнего кадра и сопоставляют ее с предыдущими. Получившаяся модель умеет генерировать весьма долгие видео по промту или первому кадру.
ML Underhood
Прямо сейчас проходит международная конференция по машинному обучению ICML 2024. Александр Шишеня и Сергей Овчаренко из службы компьютерного зрения Яндекса выбрали интересные доклады, которые уже представили на мероприятии.
Туториал Physics of Language Models
Прорывной доклад первых двух дней о построении AGI на LLM. Авторы обнаружили два уровня рассуждения (reasoning) для моделей. На первом LLM могут выучивать графы причинно-следственных связей для сложных задач и делать топологическую сортировку для понимания порядка вычисления в этом графе. А на втором модель заранее просчитывает все промежуточные данные для построения ответа.
Ошибки случаются, но, благодаря linear probe, LLM с вероятностью 99% сама предсказывает, где промахнется. Исправить, правда, не сможет, поэтому рекомендуется добавлять в обучающую выборку CoT-примеры с ошибками и их исправлением.
Genie: Generative Interactive Environments
Доклад от DeepMind, сотрудники которого обучили две модели на датасете из видеоигр — в основном, 2D-платформерах. Одна модель кодирует возможные действия игрока в латентное дискретное пространство, а другая — предсказывает следующие фреймы по предыдущим. В итоге Genie способна генерировать видеоигровые уровни из текстовых промтов, рисунков и фотографий. Статья получила награду Best Paper Award.
Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization
Доклад об авторегрессионной модели, способной предсказывать текстовые токены и видео. Она обучена на next-token prediction с диффузионной моделью для генерации кадров в пиксельном пространстве и motion-векторы. С помощью DDIM-инверсии получают «шумную» версию последнего кадра и сопоставляют ее с предыдущими. Получившаяся модель умеет генерировать весьма долгие видео по промту или первому кадру.
ML Underhood
👍22🔥7❤4
Love. Death. Transformers.
Wu's Method can Boost Symbolic AI to Rival Silver Medalists and AlphaGeometry to Outperform Gold Medalists at IMO Geometry китайцы сказали что ваши альфа геометри хуйня, у нас есть method Wu дома, прикрутили к нему cетку для выбора лучших бимов из alpha geometry…
забейте, symbolic solvers are agi enough(спасибо что не сравнили калькулятор с человеком), не читайте высеры дипмайнда, читайте супер базированные китайские работы где люди с очень большими яйцами показывают как надо.
серьезно, почитайте вечером, отличная китайская работа
:soyjack face
серьезно, почитайте вечером, отличная китайская работа
:soyjack face
😁39 10❤6👍6🔥1🤔1