🤖 Awesome-Refreshing-LLMs

Кураторский список статей и проектов больших языковых моделей (LLM), не требующих дорогостоящего переобучения.

🖥 Github: https://github.com/hyintell/awesome-refreshing-llms

⭐️ Paper: https://arxiv.org/pdf/2310.07343v1.pdf

@machinelearning_ru

🐼 Pandas 2.0.0 — геймчейнджер в работе дата-сайентистов?

Многофункциональная и универсальная библиотека pandas заняла достойное место в сердце каждого дата-сайентиста.

Практически невозможно представить себе работу с данными — начиная с их ввода/вывода до очистки и преобразования — без import pandas as pd.

Интересный факт: этот релиз готовился в течение 3 лет.

Так что же нового предлагает pandas 2.0? Окунемся в эту версию с головой.

1. Производительность, скорость и эффективность использования памяти
Как известно, pandas была создана на основе библиотеки numpy, которая не была специально разработана как бэкенд для библиотек датафреймов. По этой причине одним из основных слабых мест pandas стала обработка больших массивов данных в памяти.

В этом релизе значительные изменения связаны с появлением бэкенда Apache Arrow для данных pandas.

Arrow — это стандартизованный формат столбцовых данных in-memory (с хранением в оперативной памяти) с доступными библиотеками для нескольких языков программирования (C, C++, R, Python и другие).
Для Python создан пакет PyArrow, основанный на реализации Arrow в C++, а значит, быстрый!

PyArrow избавляет нас от прежних ограничений памяти версий 1.X и позволяет выполнять более быстрые и эффективные с точки зрения памяти операции с данными, особенно в случае больших наборов данных.

Сравним скорость чтения данных без бэкенда pyarrow и с ним на примере набора данных Hacker News размером около 650 МБ (лицензия CC BY-NC-SA 4.0):

%timeit df = pd.read_csv("data/hn.csv")
# 12 с ± 304 мс на цикл (среднее ± стандартное отклонение 7 прогонов, по 1 циклу в каждом)

%timeit df_arrow = pd.read_csv("data/hn.csv", engine='pyarrow', dtype_backend='pyarrow')
# 329 мс ± 65 мс на цикл (среднее ± стандартное отклонение 7 прогонов, по 1 циклу в каждом)

При использовании нового бэкенда чтение данных происходит почти в 35 раз быстрее. Следует отметить и другие моменты:

▪️Без бэкенда pyarrow каждый столбец/признак хранится как собственный уникальный тип данных: числовые признаки хранятся как int64 или float64, а строковые значения — как объекты.
▪️При использовании pyarrow все признаки применяют dtypes Arrow: обратите внимание на аннотацию [pyarrow]и различные типы данных: int64, float64, string, timestamp и double.

df = pd.read_csv("data/hn.csv")
df.info()

# <class 'pandas.core.frame.DataFrame'>
# RangeIndex: 3885799 записей, от 0 до 3885798
# Столбцы данных (всего 8 столбцов):
# # Column Dtype
# --- ------ -----
# 0 Object ID int64
# 1 Title object
# 2 Post Type object
# 3 Author object
# 4 Created At object
# 5 URL object
# 6 Points int64
# 7 Number of Comments float64
# dtypes: float64(1), int64(2), object(5)
# использование памяти: 237.2+ MB

df_arrow = pd.read_csv("data/hn.csv", dtype_backend='pyarrow', engine='pyarrow')
df_arrow.info()

# <class 'pandas.core.frame.DataFrame'>
# RangeIndex: 3885799 записей, от 0 до 3885798
# Столбцы данных (всего 8 столбцов):
# # Column Dtype
# --- ------ -----
# 0 Object ID int64[pyarrow]
# 1 Title string[pyarrow]
# 2 Post Type string[pyarrow]
# 3 Author string[pyarrow]
# 4 Created At timestamp[s][pyarrow]
# 5 URL string[pyarrow]
# 6 Points int64[pyarrow]
# 7 Number of Comments double[pyarrow]
# dtypes: double[pyarrow](1), int64[pyarrow](2), string[pyarrow](4), timestamp[s][pyarrow](1)
# memory usage: 660.2 MB

2. Типы данных arrow и индексы numpy

📌 Читать

@machinelearning_ru

🔬 Моделирование искусственных форм жизни - это очень увлекательное зрелище.

Эти самоорганизующиеся, самовоспроизводящиеся "формы жизни", которые возникли на основе системы клеточных автоматов непрерывного обучения под названием Flow-Lenia.

Lenia - это семейство клеточных автоматов, моделирующих "Игру жизни" Конвея на непрерывное пространство, время и состояния.

Статья: https://arxiv.org/abs/2212.07906
Видео: https://www.youtube.com/watch?v=605DcOMwFLM

@machinelearning_ru

⚡️ Interactively explore your Huggingface dataset with one line of code

Библиотека датасетов Hugging Face не только предоставляет доступ к более чем 70 тыс. общедоступных наборов данных, но и предлагает очень удобные конвейеры подготовки данных для пользовательских наборов.

Renumics Spotlight позволяет создавать интерактивные визуализации ваши данных. Поскольку Spotlight понимает семантику данных в наборах данных Hugging Face, вы можете начать работу всего с нескольких строк кода:

import datasets
from renumics import spotlight

ds = datasets.load_dataset('speech_commands', 'v0.01', split='validation')

spotlight.show(ds)

📌 Читать дальше
📌 Github

@machinelearning_ru

🦠 Google DeepMind AI только что представила значительное обновление AlphaFold, которое должно произвести революцию в разработке лекарств в будущем.

Теперь ИИ может предсказывать структуру не только белков, но и различных молекул.

Исследователи ожидают, что модернизация AlphaFold может вывести на новый уровень исследования заболеваний, разработку лекарств, синтетическую биологию и многое другое.

@machinelearning_ru

🖥 Теперь вы можете безопасно хранить свои закрытые ключи, такие как huggingface или kaggle API-токены, в Colab!

Ключи, хранящиеся в Secrets, являются скрытыми и видны только вам и выбранным вами блокнотам.

@machinelearning_ru

💊 Определение диабета при помощи машинного обучения в 60 строк кода.

📌 Видео
📌 Код

@machinelearning_ru