Несколько раз слышал тезис, что разработка LLM приложений на базе RAG архитектуры не является подмножеством ML разработки. Я с этим не согласен:
- Как и в классических ML задачах, ключом к качественным результатам в RAG системах являются данные, их структурирование, предобработка;
- Решение является эвристическим, а не детерминированным и оценка результата использует классические DS метрики - accuracy, precision, F1, MRR;
- Улучшение результата часто достигается через оптимизацию гипер-параметров;
- Сложно что-то улучшать в решении, не понимая основ математики и алгоритмов.

В то же время работа с LLM и вся RAG архитектура это всего лишь еще один дополнительный слой / сервис в приложении, зачастую состоящем из большого количества различных сервисов. Нужно учитывать это при планировании проектов и найме команды.
#LLM #RAG #PM