Как болтали первые языковые модели
Самой древней языковой моделью (1966) считается ELIZA, которая, ориентируясь на ключевые слова, имитировала психотерапевта. Точнее, она просто задавала уточняющие вопросы. Например: "Я расстроен" – "Почему ты расстроен?". Все было запрограммированно по шаблону.
В 1972 в пару к ELIZA появился PARRY, который также был шаблонным, но "обучен" был моделировать поведение параноидального шизофреника – уклоняться от ответов и переводить тему.
А потом... ELIZA и PARRY поговорили. Представляете этот диалог? Хотя и представять не надо – его фрагменты можно найти здесь. В конце не хватает только "Спасибо, с вас 10 тысяч".
Самой древней языковой моделью (1966) считается ELIZA, которая, ориентируясь на ключевые слова, имитировала психотерапевта. Точнее, она просто задавала уточняющие вопросы. Например: "Я расстроен" – "Почему ты расстроен?". Все было запрограммированно по шаблону.
В 1972 в пару к ELIZA появился PARRY, который также был шаблонным, но "обучен" был моделировать поведение параноидального шизофреника – уклоняться от ответов и переводить тему.
А потом... ELIZA и PARRY поговорили. Представляете этот диалог? Хотя и представять не надо – его фрагменты можно найти здесь. В конце не хватает только "Спасибо, с вас 10 тысяч".
👍39🔥8❤5
This media is not supported in your browser
VIEW IN TELEGRAM
Они растут так быстро 🥲
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥108😁20👍12❤8🤨4
В Photoshop только что вышел Firefly 3. Можно догенерировать что угодно в любом месте на фото, поменять фон, одежду, удалить что-нибудь и так далее.
Помимо обработки, Firefly умеет генерировать изображения с нуля. В сообществе уже сравнили эту способность модели с предыдущей версией и MidJorney. Давайте сравним и мы👇
Помимо обработки, Firefly умеет генерировать изображения с нуля. В сообществе уже сравнили эту способность модели с предыдущей версией и MidJorney. Давайте сравним и мы
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤36🔥14👍7
Приз зрительских симпатий достается…
Anonymous Poll
56%
Midjourney 6
20%
Midjourney 5.2
3%
Firefly 2
20%
Firefly 3
👍14🔥6😁5❤1
Завезли PyTorch 2.3!
В релизе зафиксировано 3393 изменений. Вот блогпост с их подробными описаниями. Основное:
– Поддержка пользовательских Triton ядер в torch.compile. Позволяет переносить кастомные ядра без потери производительности.
– Представили Tensor Parallel API, с помощью которого можно еще эффективнее обучать LLM.
– Добавили полуструктурированную разреженность на матрицах (torch.sparse.SparseSemiStructuredTensor), которая ускоряет операции умножения. Кайф для квантования.
В релизе зафиксировано 3393 изменений. Вот блогпост с их подробными описаниями. Основное:
– Поддержка пользовательских Triton ядер в torch.compile. Позволяет переносить кастомные ядра без потери производительности.
– Представили Tensor Parallel API, с помощью которого можно еще эффективнее обучать LLM.
– Добавили полуструктурированную разреженность на матрицах (torch.sparse.SparseSemiStructuredTensor), которая ускоряет операции умножения. Кайф для квантования.
👍33🥰10❤7😐3😎2
Forwarded from XOR
Кстати, компания выложила не только модели, а вообще все, что с ними связано — так они надеются ускорить подготовку ИИ к релизу, а заодно завоевать доверие публики. Все модели предназначены для локальной работы, а самая большая из них, OLMo, обучалась аж на 3 миллиардах токенов.
@xor_journal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥48👍11❤4🌚2🤨2🙈1
This media is not supported in your browser
VIEW IN TELEGRAM
POV: я и мои шикарно задизайненные A/B тесты
❤57😁48🔥12👍3💋1
Разбираемся с файн-тюнингом, многозадачностью и вот этим всем
Последнее время на собеседованиях набирает популярность вопрос: объясните, чем отличаются Transfer learning, Fine-tuning, Multi-task learning и Federated learning? А что у них общего? Давайте ответим вместе.
Последнее время на собеседованиях набирает популярность вопрос: объясните, чем отличаются Transfer learning, Fine-tuning, Multi-task learning и Federated learning? А что у них общего? Давайте ответим вместе.
🔥64👍19❤6👏1
Аккуратнее с ними: Llama-3 знает ваше местоположение, но не признается в этом
Блоггер спросил у Llama-3, где находится ближайший к нему МакДональдс, и получил верные координаты.
После этого он стал спрашивать у модели, откуда у нее эта информация, в ответ на что получил очень правдоподобное (нет) и настойчивое вранье о том, что никакую геолокацию она не знает, а верный ответ… просто угадала.
Неловко получилось.
Блоггер спросил у Llama-3, где находится ближайший к нему МакДональдс, и получил верные координаты.
После этого он стал спрашивать у модели, откуда у нее эта информация, в ответ на что получил очень правдоподобное (нет) и настойчивое вранье о том, что никакую геолокацию она не знает, а верный ответ… просто угадала.
Неловко получилось.
😁152🔥13😨11👍6❤2🤔2
Погнали с нами в летнюю школу от НИУ ВШЭ?
Представьте: вы, белые ночи, Питер, лекции о машинном обучении от топового вуза. Вы прошли отбор и получили доступ к пяти крутым курсам:
Каждый день вы слушаете лекции от исследователей из зарубежных вузов и специалистов из СБЕРа, Центра речевых технологий и других лидеров индустрии.
Вы погружаетесь в неформальное общение с преподавателями, студентами, аспирантами, учеными и экспертами из индустрии. А в конце делаете свой собственный постер на крутейшую постерную сессию.
Мечта? Нет, реальность: это ISSCAI от вышки, который пройдет с 1 по 7 июля.
В общем, если ты студент-старшекурсник, аспирант или молодой ML-разработчик, то мы знаем, что тыделал прошлым делаешь этим летом.
Ладно-ладно, решайте сами, но поторопитесь: количество мест ограничено и заявки принимаются до 15 мая. Тыкать сюда: https://spb.hse.ru/isscai/.
Кстати, редакторы Data Secrets тоже примут участие 😉
Представьте: вы, белые ночи, Питер, лекции о машинном обучении от топового вуза. Вы прошли отбор и получили доступ к пяти крутым курсам:
- Введение в NLP
- Advanced NLP
- Computer vision
- Speech Recognition
- Music and signal processing
Каждый день вы слушаете лекции от исследователей из зарубежных вузов и специалистов из СБЕРа, Центра речевых технологий и других лидеров индустрии.
Вы погружаетесь в неформальное общение с преподавателями, студентами, аспирантами, учеными и экспертами из индустрии. А в конце делаете свой собственный постер на крутейшую постерную сессию.
Мечта? Нет, реальность: это ISSCAI от вышки, который пройдет с 1 по 7 июля.
В общем, если ты студент-старшекурсник, аспирант или молодой ML-разработчик, то мы знаем, что ты
Ладно-ладно, решайте сами, но поторопитесь: количество мест ограничено и заявки принимаются до 15 мая. Тыкать сюда: https://spb.hse.ru/isscai/.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍34❤11🔥9🤯1
Учитель физкультуры школы округа Балтимор в США пытался подставить директора с помощью ИИ
Он клонировал голос директора и сгенерировал запись, где тот делает расистские и антисемитские высказывания. А все потому, что директор начал расследование по поводу нецелевого расходования средств школы.
Пока неясно, какую именно модель использовал физрук, но попытка была хороша.
Он клонировал голос директора и сгенерировал запись, где тот делает расистские и антисемитские высказывания. А все потому, что директор начал расследование по поводу нецелевого расходования средств школы.
Пока неясно, какую именно модель использовал физрук, но попытка была хороша.
😁82👍12🔥6🙈5