Раньше я предлагал вам пройти опрос про рынок ML от DevCrowd. Появились результаты!

https://devcrowd.ru/ds24/

На скриншоте раскрыт секрет быстрого развития AI индустрии

⚡️В сеть слили новую лестницу грейдов в Сбере

6 декабря в Москве и онлайн пройдёт конференция Conversations по разговорному и генеративному AI для бизнеса и разработчиков.

Вот что будет:
- Доклады про кейсы применения LLM, бенчмарки языковых моделей, голосовые технологии, RAG и многое другое. Подробности есть в статье на Хабре и сайте конференции.
- Дискуссии в бизнес- и технотреке.
- Выставка AI-решений.
- Нетворкинг.

Меня лично зацепили эти доклады:
- "LLM в действии: как с помощью чат-бота автоматизировать SQL-запросы и получать актуальную аналитику за минуты, а не дни" от команды Samokat (теперь Ecom Tech).
- "Много тонкостей, мало данных. Как построить RAG для документации по сложным продуктам, когда их больше 50" от команды Cloud Ru.
- "Масштабирование LLM приложений на миллионы клиентов" от команды Т-Банка.


Билеты можно купить здесь.

Организаторы сделали промокод на скидку 10% для подписчиков канала: CNVS24oRb.

https://www.lesswrong.com/posts/pNkjHuQGDetRZypmA/it-s-a-10-chance-which-i-did-10-times-so-it-should-be-100

Прикольно про связь вероятностей и числа e

Это не оверинжениринг если:
1. Тебе было весело
2. PM не заметил

Время крутых возможностей спасать мир от моего друга Васи! В плане, возможность от Васи. Лично ручаюсь, что Вася пока не угрожает миру. Далее прямая речь:

🎓 Стипендиальная программа Impact Academy для технических исследователей безопасности ИИ

Мы — сообщество Unitaware. Ищем амбициозных и талантливых людей в области ML/AI для участия в стипендиальной программе Impact Academy по безопасности ИИ. Это шанс проводить исследования и работать с лидерами индустрии — и получить от них приглашения в топовые AI safety лабы и проекты (например, Center for Human-Compatible Artificial Intelligence, FAR AI и Mila AI Institute)

💼 Что вас ждет?

• Оффлайн программа (3-6 месяцев с марта) в Сингапуре, Англии или США.
• Исследования и коучинг в сфере AI safety.
• Стипендия ~$5000/мес.
• Перспектива работы в ведущих AI-проектах.

👤 Кого мы ищем?

• Отличный английский и опыт в ML/DL (публикации, стажировки, проекты).
• Программирование на уровне ведущей техкомпании.
• Достижения: олимпиады или учеба на топовых кафедрах.
• Интерес к снижению рисков от продвинутых AI-систем.

⏳ Срок подачи: до 31 декабря (лучше до первой недели декабря).

Если заинтересовались или знаете подходящего кандидата, напишите @vakondyrev, это максимизирует шансы при прочих равных. За рекомендацию подходящего кандидата также предусмотрено вознаграждение

Ищу датасет классификации для про вероятности с прицелом на какие-то прикольные учебные датасеты.

В итоге хочу поделиться списком. Будет полезно для тех, кто делает курсы по ML!

- Fake News
- https://www.kaggle.com/datasets/aadyasingh55/fake-news-classification/
- https://www.kaggle.com/datasets/clmentbisaillon/fake-and-real-news-dataset
- Spam emails https://www.kaggle.com/datasets/ashfakyeafi/spam-email-classification
- Tiktok claims https://www.kaggle.com/datasets/raminhuseyn/dataset-from-tiktok
- Экзопланеты: https://www.kaggle.com/datasets/keplersmachines/kepler-labelled-time-series-data?select=exoTrain.csv
- Credit card fraud: https://www.kaggle.com/datasets/mlg-ulb/creditcardfraud
- Depression detection: https://github.com/rafalposwiata/depression-detection-lt-edi-2022/tree/main
- Soccer database: https://www.kaggle.com/datasets/hugomathien/soccer
- Suicide/Depression: https://www.kaggle.com/datasets/nikhileswarkomati/suicide-watch
- Insurance Fraud:
- https://www.kaggle.com/datasets/ravalsmit/fraudulent-claims-detection-dataset?select=fraudulent_claim.csv
- https://www.kaggle.com/datasets/arpan129/insurance-fraud-detection/data
- Stellar classification: https://www.kaggle.com/datasets/fedesoriano/stellar-classification-dataset-sdss17
- Divorce: https://www.kaggle.com/datasets/andrewmvd/divorce-prediction

Не по классификации, но я считаю надо выделить:
- https://www.kaggle.com/datasets/vipullrathod/fish-market
Предсказание веса рыбы! AI для продажи рыбы на рынке. Разве это не прекрасно? Кроме шуток редко встречаются датасеты где признаки связаны с лейблом по понятным физическим законам. А жаль, ведь это помогает показать как ML аппроксимирует зависимость из реального мира. Обычно для таких примеров я беру вес и рост людей, но это уже заезженно. Вес рыбы намного прикольнее.

Yandex Cloud запустил AI Assistant API. Это набор инструментов для создания помощников на базе YandexGPT. В отличие от простого вызова генерации LLM этот API из коробки дает возможность хранить историю переписок и делать поиск по базе знаний с помощью RAG.

Причем базу знаний можно сделать довольно масштабной: до 1000 файлов, каждый до 128мб и до 100 поисковых индексов.

Новый сервис закрывает базовый юзкейс диалогового помощника без необходимости заниматься инфраструктурой, писать свои велосипеды или использовать, не приведи Господь, Langchain.

Там Таня из DLS выложила клевый лонгрид:
https://atmyre.github.io/blog/2024/ind_bias/