Оборудование для AI внутри контура
Ребят, ищем спикера на вебинар наш, кто внедрял у себя on-premise инфраструктуру под AI, как закупали, что закупали, как рассчитывали нагрузку, как масштабировали, сколько вышло по деньгам)
Может кого-то сможете порекомендовать.
Поставьте палец вверх, если интересная тема 👍
Напишите мне плиз @savinvlad
Ребят, ищем спикера на вебинар наш, кто внедрял у себя on-premise инфраструктуру под AI, как закупали, что закупали, как рассчитывали нагрузку, как масштабировали, сколько вышло по деньгам)
Может кого-то сможете порекомендовать.
Поставьте палец вверх, если интересная тема 👍
Напишите мне плиз @savinvlad
👍64
Forwarded from Ну Шмулев, погоди!
LLM как источник консолидированных знаний
Занимаясь проектом по реализации синтетических пользователей для ускорения извлечения инсайдов с помощью LLM в custdev-ах, пришел к интересному наблюдению.
В нашем мире знания распределены между различными отдельными инстансами (людьми, книгами, и т.д.), в случае с людьми - очень смещенными.
Интернет – это пример первого удобного источника агрегированных знаний (до него, например, были библиотеки / энциклопедии).
LLM – это новое поколение инструментов с консолидированными знаниями (для меня это еще одно объяснение, почему LLM так хорошо зашли: многие мои знакомые теперь идут в deepseek, а не гугл, чтобы понять как сделать VAT refund в поездке или понять что делать с отменой рейса).
Рассмотрим на примере custdev-ов (глубинных интервью).
Раньше:
1. Выбираешь целевой сегмент пользователей
2. Формулируешь гипотезы болей
3. Собираешь 20-30 человек
4. Проводишь интервью, спрашиваешь о том, что “болит”
5. Собираешь транскрипты, фиксируешь инсайды (субъективно относительно того, что проводит custdev)
6. Делаешь саммари
7. Формулируешь идеи / гипотезы продуктов
8. Делаешь корректировки и повторяешь процесс
** Шаги 5-6-7 – это переход от отдельных смещенных инсайтов к агрегированному “знанию”
С приходом LLM как это выглядит теперь:
1. Выбираешь целевой сегмент пользователей – через промпт
2. Формулируешь гипотезы болей – через промпт (+ задаешь контекст)
3. Получаешь инсайды уже в виде саммари и идеи
Почему так? Внутри LLM уже содержится информация по всем-всем вариантам (которые встречались при обучении конечно), и ее ответ УЖЕ агрегированная информация. Нет смысла генерировать 30-50 диалогов с пользователями (тут есть отдельный риск, какой кстати?) и потом делать саммари (через ту же GPT).
В реальной жизни без LLM мы так делать не можем – надо сэмплировать знания из отдельных людей и потом агрегировать.
P.S. в этом посте я намеренно не рассуждаю на тему репрезентативности инсайдов от “синтетиков” и не говорю о том, что привычные custdev-ы больше не нужны. Мне интересно посмотреть и порассуждать в комментах на интересный кмк переход и к чему он может привести.
Занимаясь проектом по реализации синтетических пользователей для ускорения извлечения инсайдов с помощью LLM в custdev-ах, пришел к интересному наблюдению.
В нашем мире знания распределены между различными отдельными инстансами (людьми, книгами, и т.д.), в случае с людьми - очень смещенными.
Интернет – это пример первого удобного источника агрегированных знаний (до него, например, были библиотеки / энциклопедии).
LLM – это новое поколение инструментов с консолидированными знаниями (для меня это еще одно объяснение, почему LLM так хорошо зашли: многие мои знакомые теперь идут в deepseek, а не гугл, чтобы понять как сделать VAT refund в поездке или понять что делать с отменой рейса).
Рассмотрим на примере custdev-ов (глубинных интервью).
Раньше:
1. Выбираешь целевой сегмент пользователей
2. Формулируешь гипотезы болей
3. Собираешь 20-30 человек
4. Проводишь интервью, спрашиваешь о том, что “болит”
5. Собираешь транскрипты, фиксируешь инсайды (субъективно относительно того, что проводит custdev)
6. Делаешь саммари
7. Формулируешь идеи / гипотезы продуктов
8. Делаешь корректировки и повторяешь процесс
** Шаги 5-6-7 – это переход от отдельных смещенных инсайтов к агрегированному “знанию”
С приходом LLM как это выглядит теперь:
1. Выбираешь целевой сегмент пользователей – через промпт
2. Формулируешь гипотезы болей – через промпт (+ задаешь контекст)
3. Получаешь инсайды уже в виде саммари и идеи
Почему так? Внутри LLM уже содержится информация по всем-всем вариантам (которые встречались при обучении конечно), и ее ответ УЖЕ агрегированная информация. Нет смысла генерировать 30-50 диалогов с пользователями (тут есть отдельный риск, какой кстати?) и потом делать саммари (через ту же GPT).
В реальной жизни без LLM мы так делать не можем – надо сэмплировать знания из отдельных людей и потом агрегировать.
P.S. в этом посте я намеренно не рассуждаю на тему репрезентативности инсайдов от “синтетиков” и не говорю о том, что привычные custdev-ы больше не нужны. Мне интересно посмотреть и порассуждать в комментах на интересный кмк переход и к чему он может привести.
🔥18❤14✍6
Ищем спикеров)
ребят продолжаем наши встречи-вебинары, если кому-то есть что интересно рассказать про AI гоу ко мне в личку @savinvlad)
У нас уже были директор по AI-трансформации Сбера Никита Худов, лиды из Альфы и Т-банка, тех. директор Циана Алексей Чеканов...
в общем отличная компания)
ребят продолжаем наши встречи-вебинары, если кому-то есть что интересно рассказать про AI гоу ко мне в личку @savinvlad)
У нас уже были директор по AI-трансформации Сбера Никита Худов, лиды из Альфы и Т-банка, тех. директор Циана Алексей Чеканов...
в общем отличная компания)
👍4
Да кстати особенно велком — разрабы с разрабскими темами — у нас их любят)
Вот наш вебинар с нашим разработчиком Мишей про Text2sql https://tttttt.me/r77_ai/202
В общем ml-разрабы велком @savinvlad
Вот наш вебинар с нашим разработчиком Мишей про Text2sql https://tttttt.me/r77_ai/202
В общем ml-разрабы велком @savinvlad
❤6
RAG без ембедингов
В следующий четверг у нас Николай Шейко из офигенного канала про AI "AI и грабли".
Вот что расскажет:
"В индустрии давно укоренилось мнение, что Retrieval-Augmented Generation (RAG) = эмбеддинги. Но что, если поиск по эмбеддингам — не всегда лучшее решение?
В этом вебинаре я расскажу, как можно строить RAG без единого эмбеддинга, используя только легкие LLM с structured output. Например, я запускал LLM поверх сырого контента (вроде PDF), разбивал его на страницы и делал классификацию релевантности прямо в модели. Такой способ давал ощутимо лучшее качество, особенно когда нужна агрегация".
Мы обсудим:
• Почему эмбеддинги часто не работают так, как хочется
• Как использовать LLM как search engine без векторных БД
• Что такое structured output и как он помогает
• Кейсы, где подход без эмбеддингов оказался сильнее (вплоть до призовых мест на Enterprise RAG Challenge)
• Когда всё же стоит вернуться к классике с векторками.
Четверг, 14 августа, 15-00)
Ставьте нотификейшн! ура у нас снова разрабская тема)
В следующий четверг у нас Николай Шейко из офигенного канала про AI "AI и грабли".
Вот что расскажет:
"В индустрии давно укоренилось мнение, что Retrieval-Augmented Generation (RAG) = эмбеддинги. Но что, если поиск по эмбеддингам — не всегда лучшее решение?
В этом вебинаре я расскажу, как можно строить RAG без единого эмбеддинга, используя только легкие LLM с structured output. Например, я запускал LLM поверх сырого контента (вроде PDF), разбивал его на страницы и делал классификацию релевантности прямо в модели. Такой способ давал ощутимо лучшее качество, особенно когда нужна агрегация".
Мы обсудим:
• Почему эмбеддинги часто не работают так, как хочется
• Как использовать LLM как search engine без векторных БД
• Что такое structured output и как он помогает
• Кейсы, где подход без эмбеддингов оказался сильнее (вплоть до призовых мест на Enterprise RAG Challenge)
• Когда всё же стоит вернуться к классике с векторками.
Четверг, 14 августа, 15-00)
Ставьте нотификейшн! ура у нас снова разрабская тема)
🔥42👍7