Простая задача с собеседования аналитика

Поезд состоит из шести вагонов. В среднем, в каждом вагоне едет 18 пассажиров. После того, как один вагон отцепили, среднее число пассажиров в оставшихся вагонах сократилось до 15. Сколько пассажиров находилось в отцепленном вагоне?

😻 #задачи

Windows 12 будет построена на базе искусственного интеллекта

Так, гендир Microsoft Сатья Наделла заявил, что Windows Copilot AI, по сути, станет заменой кнопки «Пуск». Microsoft Copilot, который на днях стал общедоступным, будет «рулить» всеми взаимодействиями с операционкой.

😻 #news

Используйте правильную лексику

😻 #memes

Историческая новость – вышла новая опенсурсная LLM Mistral

– Вышла в трех вариантах: mistral-tiny, mistral-small, mistral-medium
– Качество >= LLama2, GPT 3.5. При этом на инференсе в 6 раз быстрее Ламы.
– Бесплатная и открытая
– Умеет на английском, французском, итальянском, немецком и испанском
– Контекст - 32К токенов
– Уже добавили в HuggingFace:

model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-v0.1")

Юзер-гайды | Блогпост | Регистрация для раннего доступа

😻 #news

Просто 100+ слайдов о внутреннем устройстве PyTorch

Слайды подготовил Кристиан Перон. Упор сделан на последние инновации библиотеки (Dynamo, Inductor и ExecuTorch). Оценка редакции: 100/10.

😻 #advice

Новая LLM Mixtral-8x-7B произвела фурор и ввела в моду Mixture of Expert

Эта архитектура отличается тем, что использует нескольких "экспертов" (каждый из которых представляет из себя нейросеть) для решения разных задач. От ансамблей она отличается тем, что эксперты не объединяются, то есть в решении участвует только один.

Какой токен какому эксперту отправить решает так называемый роутер – это тоже обучаемая сеть. В общем, вот вам список литературы, который поможет быстро разобраться (и не отстать от тренда):

❤️Отличный разбор на HuggingFace
❤️Ёмкий видео-разбор архитектуры от Trelis Research
❤️Первая статья по применению MoE в NLP (в авторах Джефф Дин и Джеффри Хинтон)
❤️Про MoE для LLM

Кстати, по слухам, GPT-4 тоже представляет из себя MoE.

😻 #advice #news

Ох уж этот конец года: даже у GPT-4 падает продуктивность

Выяснилось, что если модель думает, что сейчас май, то отвечает в среднем подробнее, чем «в декабре». Статистическая значимость на месте: t-test p < 2.28e-07. Среди экспертов уже родилось предположение, что в ходе обучения модель учла тот факт, что люди перед празниками ленятся и пишут тексты меньшего объема 🎄

Эксперимент проводился с помощью изменения параметра current date. Опыт, кстати, можно воспроизвести: вот код.

😻 #news

Ты и твой друг, когда решили уйти в собственный стартап и стать вторыми Альманом и Маском.

😻 #memes