👩‍💻 Курс по анализу и визуализации данных на Python с астрономическими данными!

💡 Этот курс — путешествие по вселенной анализа и визуализации данных, специально разработанный для астрономических данных. Курс охватывает все: от основ программирования на Python до продвинутых методов обработки изображений.

🕞 Продолжительность: 6:31:57

🔗 Ссылка: *клик*

#курс #python #dataanalysis

@dataanlitics

🌟 Hymba-1.5B: Базовая и инструктивная модели от NVIDIA.

Hymba-1.5B-Base имеет embedding size 1600, 25 attention heads, MLP 5504, 32 слоя, 16 состояний SSM, 3 слоя полного внимания, остальные - внимания со скользящим окном.

В отличие от стандартного трансформера, каждый слой внимания в Hymba имеет гибридную комбинацию стандартных attention heads и Mamba heads в параллельном исполнении. Hymba использует технологии Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE).

Hymba обучалась на 1.5 трлн токенах в 2 этапа предварительного обучения и 3 этапами посттренининга.

Hymba-1.5B-Instruct - файнтон Hymba-1.5B-Base на комбинации открытых наборов данных инструкций и собранных собственными силами синтетических датасетов.

Эта модель настраивалась с помощью SFT и DPO и способна как в математические рассуждения и вызов функций, так и в ролевые сценарии.

⚠️ В Hymba-1.5B-Instruct используется кастомный шаблон промпта, который был интегрирован в токенизатор и может быть применен с помощью tokenizer.apply_chat_template.

▶️Пример инференса Hymba-1.5B-Base:

from transformers import LlamaTokenizer, AutoModelForCausalLM, AutoTokenizer, AutoModel
import torch

# Load the tokenizer and model
repo_name = "nvidia/Hymba-1.5B-Base"

tokenizer = AutoTokenizer.from_pretrained(repo_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo_name, trust_remote_code=True)
model = model.cuda().to(torch.bfloat16)

# Chat with Hymba
prompt = input()
inputs = tokenizer(prompt, return_tensors="pt").to('cuda')
outputs = model.generate(**inputs, max_length=64, do_sample=False, temperature=0.7, use_cache=True)
response = tokenizer.decode(outputs[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True)

print(f"Model response: {response}")

📌 Лицензирование: NVIDIA Open Model License Agreement


🟡Набор моделей на HF

@ai_machinelearning_big_data

#AI #ML #SLM #Hymba #Nvidia

🔥 Создание ИИ-генератора изображений с помощью Python!

🌟 Узнайте, как генерировать изображения AI бесплатно с помощью Google Collab и локально на вашем компьютере. Изучите различные модели и подсказки для создания высококачественных изображений без усилий.

🕞 Продолжительность: 17:19

🔗 Ссылка: *клик*

#курс #python

@dataanlitics

📎 ML в медицине: дайджест за 1 - 7 декабря 2024 г.


▶️Модели, бенчмарки и датасеты

🔘SOAR: бенчмарк для оценки LLM в задачах аннотации типов клеток.
Тест, который проверяет, насколько хорошо модели могут понимать и анализировать сложные данные о клетках.

🔘Повышение точности диагностики рентгенограмм грудной клетки с помощью анализа направления взгляда врачей.
Система 2-х нейросетей, которая помогает диагностировать заболевания по рентгенограммам грудной клетки и предсказывает, на какие области изображения врачи обращают внимание.

🔘EchoONE: унифицированная модель для сегментации множества плоскостей эхокардиографии.
Модель, которая помогает врачам более точно анализировать снимки сердца, сделанные с помощью ультразвука, даже если снимки сделаны под разными углами.


▶️Фреймворки и методологии

🔘RARE: RAG-ризонинг.
Метод для улучшения способности рассуждать и давать точные ответы, используя комбинацию генерации и поиска информации для обогащения своих знаний.

🔘STORM: cтратегия организации модальностей для классификации редких событий.
Алгоритм, который помогает выбрать лучшие источники информации для решения сложных медицинских задач.

🔘TransFair: прогноз прогрессирования глазных заболеваний.
Модель классификации, которая помогает сделать прогнозы о глазных заболеваниях более справедливыми и точными.

🔘PePR: оценка эффективности моделей с учетом потребления ресурсов.
Показатель, который помогает оценить, насколько эффективно модель использует ресурсы.

🔘Оценка качества рентгенологических заключений с помощью сопоставления клинических данных с изображением.
Метод оценки качества автоматически сгенерированных рентгенологических отчетов, который учитывает точность описания патологических изменений, их локализации и степени выраженности.


▶️Медицинские LLM-приложения

🔘MedChain: LLM-агент и бенчмарк для принятия клинических решений.
Набор данных и система для имитации реальной клинической практики, где каждый случай включает подробную информацию о пациенте и требует активного сбора информации и принятия решений на основе предыдущих шагов.

🔘QG-Summ: автореферирование медицинских записей с самоконтролем, управляемое запросами.
Метод, который помогает создавать краткие и точные отчеты о состоянии пациентов в электронных медкартах, используя запросы, связанные с пациентом, для руководства процессом.

🔘CLINICSUM: генерация медицинских заключений из диалогов врача и пациента.
Фреймворк, который может автоматически создавать медицинские заключения на основе разговоров между врачом и пациентом, используя специальную архитектуру.


▶️Исследования и обзоры

*️⃣Проблемы производительности LLM для здравоохранения с учетом демографической справедливости.
Исследование проблемы демографической предвзятости популярных современных LLM в различных медицинских задачах.

*️⃣Применение эмбединг-моделей для классификации медицинских текстов.
Статья о том, как использовать эмбединги для классификации медицинских текстов без необходимости обучения на медицинских данных.

*️⃣BlockMedCare: блокчейн, ИИ и IoT для здравоохранения будущего.
Концепция системы для безопасного и эффективного управления электронными медицинскими картами, позволяя пациентам, врачам и администраторам взаимодействовать с системой на различных устройствах.


🔜 Читать полный дайджест
🔜Telegraph


@ai_machinelearning_big_data

🔥 Курс по изучению Mistral AI с JavaScript!

💡 Научитесь создавать интеллектуальные приложения с использованием моделей Mistral AI с открытым исходным кодом. Этот курс охватывает все: от создания чата до расширенных вариантов использования, таких как RAG и вызов функций.

🕞 Продолжительность: 1:24:04

🔗 Ссылка: *клик*

#курс #machinelearning #javascript

🔥 ACU — тщательно подобранный список ресурсов, посвященных AI-агентам для взаимодействия с компьютерными системами!

🌟 В него входят исследования, проекты, фреймворки и инструменты, которые описывают, как автономные программы могут выполнять задачи через клики, нажатия клавиш, вызовы API и другие действия.

🖥 Github

🔥 Руководство по инженерии ИИ – как начать карьеру и преуспеть в качестве инженера ИИ!

🔗 Ссылка: *клик*