Forwarded from Записки админа
⚙️ Eget - утилита, с помощью которой можно устанавливать ПО из репозиториев Github, в которых авторы разместили бинарные файлы своих программ.
https://github.com/zyedidia/eget
#github #будничное
https://github.com/zyedidia/eget
#github #будничное
Forwarded from HN Best Comments
Re: End the Streaming Struggle with Plex
I got so fed up with Plex constantly shoving their streaming service and nagging me to log into Plex servers when I just want to stream my own files locally that I threw my hands up and installed Jellyfin[0]. It's severely lacking in the same polish and functionality as Plex, but I'm pleased that I can run Jellyfin without ads or having to create a non-local account.
[0] https://github.com/jellyfin/jellyfin
keb_, 10 hours ago
I got so fed up with Plex constantly shoving their streaming service and nagging me to log into Plex servers when I just want to stream my own files locally that I threw my hands up and installed Jellyfin[0]. It's severely lacking in the same polish and functionality as Plex, but I'm pleased that I can run Jellyfin without ads or having to create a non-local account.
[0] https://github.com/jellyfin/jellyfin
keb_, 10 hours ago
GitHub
GitHub - jellyfin/jellyfin: The Free Software Media System - Server Backend & API
The Free Software Media System - Server Backend & API - jellyfin/jellyfin
Forwarded from Записки админа
🛠 xj - интересная утилита, которая позволяет html страницу конвертировать в json для дальнейшей её обработки.
#json #xj #будничное
$ wget -qO- "https://google.com" | xj | jqhttps://idiomdrottning.org/xj
$ wget -qO- "https://google.com" | xj | jq '..|select(.title?)[][]'
$ wget -qO- "https://google.com" | xj | jq '..|select(.link?)[][]'
#json #xj #будничное
Forwarded from Big Data Science [RU]
💥Зачем вам Modin: альтернатива Pandas для быстрой обработки Big Data
Обработка больших датафреймов с помощью Pandas происходит медленно, поскольку эта Python-библиотека не поддерживает работу с данными, которые не помещаются в доступную память. В результате рабочие процессы Pandas, которые хорошо работают для прототипирования нескольких МБ данных, не масштабируются до десятков или сотен ГБ реального датасета. Поэтому из-за однопоточного выполнения операций в оперативной памяти Pandas не очень подходит для обработки действительно больших наборов данных. с большими наборами данных. Есть альтернатива – Python-библиотека Modin с Pandas-подобным API, которая масштабируется по всем ядрам процессора, используя Dask или Ray движок.
Modin поддерживает работу с данными, которые не помещаются в памяти, так что вы можете комфортно работать с сотнями ГБ, не беспокоясь о существенном замедлении или ошибках памяти. Благодаря поддержке кластера и вне ядра Modin представляет собой библиотеку DataFrame с отличной производительностью на одном узле и высокой масштабируемостью в кластере.
В локальном режиме (без кластера) Modin создаст и будет управлять локальным (Dask или Ray) кластером для выполнения. При этом не нужно указывать, как распределять данные, или даже знать, сколько ядер у системы. Фактически, можно продолжать использовать код с Pandas, просто изменив оператор импорта библиотек с pandas на modin.pandas и получая значительное ускорение даже на одной машине. Modin обеспечивает ускорение до 4 раз на ноутбуке с 4 физическими ядрами.
Документация: https://modin.readthedocs.io/en/latest/index.html
Github: https://github.com/modin-project/modin
Обработка больших датафреймов с помощью Pandas происходит медленно, поскольку эта Python-библиотека не поддерживает работу с данными, которые не помещаются в доступную память. В результате рабочие процессы Pandas, которые хорошо работают для прототипирования нескольких МБ данных, не масштабируются до десятков или сотен ГБ реального датасета. Поэтому из-за однопоточного выполнения операций в оперативной памяти Pandas не очень подходит для обработки действительно больших наборов данных. с большими наборами данных. Есть альтернатива – Python-библиотека Modin с Pandas-подобным API, которая масштабируется по всем ядрам процессора, используя Dask или Ray движок.
Modin поддерживает работу с данными, которые не помещаются в памяти, так что вы можете комфортно работать с сотнями ГБ, не беспокоясь о существенном замедлении или ошибках памяти. Благодаря поддержке кластера и вне ядра Modin представляет собой библиотеку DataFrame с отличной производительностью на одном узле и высокой масштабируемостью в кластере.
В локальном режиме (без кластера) Modin создаст и будет управлять локальным (Dask или Ray) кластером для выполнения. При этом не нужно указывать, как распределять данные, или даже знать, сколько ядер у системы. Фактически, можно продолжать использовать код с Pandas, просто изменив оператор импорта библиотек с pandas на modin.pandas и получая значительное ускорение даже на одной машине. Modin обеспечивает ускорение до 4 раз на ноутбуке с 4 физическими ядрами.
Документация: https://modin.readthedocs.io/en/latest/index.html
Github: https://github.com/modin-project/modin
GitHub
GitHub - modin-project/modin: Modin: Scale your Pandas workflows by changing a single line of code
Modin: Scale your Pandas workflows by changing a single line of code - modin-project/modin
Forwarded from Записки админа
⚙️ The smallest Docker image to serve static websites - пост об очень маленьком образе контейнера для хостинга статического сайта. tl;dr - в контейнере запускают thttpd.
#container #thttpd #напочитать
#container #thttpd #напочитать
Florin Lipan
The smallest Docker image to serve static websites
Forwarded from DevOps&SRE Library
polaris
Validation of best practices in your Kubernetes clustershttps://github.com/FairwindsOps/polaris
Forwarded from Мониторим ИТ
Упрощаем мониторинг и управление контейнерами Docker при помощи инструментов CLI
Dockly, Dive, Ctop, Dry, Lazy Docker, Poco, Sen и Skopeo.
Dockly, Dive, Ctop, Dry, Lazy Docker, Poco, Sen и Skopeo.
Forwarded from DevOps&SRE Library
validkube
ValidKube combines the best open-source tools to help ensure Kubernetes YAML best practices, hygiene & security.https://github.com/komodorio/validkube
Forwarded from Технологический Болт Генона
Для тех, кто питонами балуется Bloomberg открыл интересный тул
Memray is a memory profiler for Python
https://github.com/bloomberg/memray
Тред, который подглядел в @nocproject
https://twitter.com/1st1/status/1516859294896906241
Memray is a memory profiler for Python
https://github.com/bloomberg/memray
Notable features:+
- Traces every function call so it can accurately represent the call stack, unlike sampling profilers.
- Also handles native calls in C/C++ libraries so the entire call stack is present in the results.
- Blazing fast! Profiling causes minimal slowdown in the application. Tracking native code is somewhat slower, but this can be enabled or disabled on demand.
- It can generate various reports about the collected memory usage data, like flame graphs.
- Works with Python threads.
- Works with native-threads (e.g. C++ threads in native extensions)
Memray can help with the following problems:
- Analyze allocations in applications to help discover the cause of high memory usage.
- Find memory leaks.
- Find hotspots in code which cause a lot of allocations.
Тред, который подглядел в @nocproject
https://twitter.com/1st1/status/1516859294896906241
Forwarded from OpenNews (HK-47)
Новый выпуск системы синтеза речи Silero
Доступен новый публичный выпуск нейросетевой системы синтеза речи Silero Text-to-Speech. Проект в первую очередь нацелен на создание современной высококачественной системы синтеза речи, не уступающей коммерческим решениям от корпораций и доступной для всех желающих без использования дорогого серверного оборудования.
Доступен новый публичный выпуск нейросетевой системы синтеза речи Silero Text-to-Speech. Проект в первую очередь нацелен на создание современной высококачественной системы синтеза речи, не уступающей коммерческим решениям от корпораций и доступной для всех желающих без использования дорогого серверного оборудования.
Forwarded from DevOps&SRE Library
jless
jless is a command-line JSON viewer designed for reading, exploring, and searching through JSON data.https://github.com/PaulJuliusMartinez/jless
Forwarded from ServerAdmin.ru
Всем хорошо известен продукт Gitlab, который закрывает несколько базовых потребностей современной разработки: хранение кода, сборка и деплой, хранение образов. И всё это реализовано в единой платформе.
Обратной стороной этого удобства является высокие требования по железу, избыточный во многих случаях функционал, перегруженный, не слишком отзывчивый веб интерфейс.
Я хочу предложить на рассмотрение альтернативную сборку из отдельных компонентов, которые в сумме предоставляют такой же базовый функционал. Не хочу сказать, что это прямой аналог, но в некоторых простых ситуациях это может быть полноценная, но более лёгкая замена Gitlab.
Gitea - легковесная Open Source-система для управления Git-репозиториями, которую можно развернуть на своем сервере. Отличает её простота установки и настройки, низкие требования к производительности. В самом простом случае Gitea может использовать базу данных SQLite.
Drone CI - популярная система непрерывной интеграции, написанная на Go. Также отличается легковесностью (docker образ ~24Мб), простым синтаксисом yaml файлов для сборки. Легко интегрируется с любым git репозиторием и хранилищем docker образов. Отлично подходит для знакомства с ci/cd на основе docker контейнеров.
Docker Registry 2.0 - вариант локального registry от самой компании Docker. Тоже очень простой продукт с минимальными требованиями к железу. Размер docker контейнера, в котором он запускается 8Мб. При желании к нему можно установить веб интерфейс - docker-registry-ui.
Указанный набор программ связывается между собой в единую систему, обеспечивая базовый функционал по разработке и доставке софта на базе docker контейнеров. Drone CI расширяет функционал с помощью плагинов. Например, плагин для отправки уведомлений в telegram, запуска удалённых команд по ssh, выполнения webhook и т.д.
Если есть идеи, чем можно заменить одну из предложенных программ, предлагайте в комментариях. Я сделал акцент на легковесности и простоте установки, настройки.
Gitea - https://github.com/go-gitea/gitea
Drone - https://github.com/harness/drone
Registry 2.0 - https://hub.docker.com/_/registry
#docker #devops #git
Обратной стороной этого удобства является высокие требования по железу, избыточный во многих случаях функционал, перегруженный, не слишком отзывчивый веб интерфейс.
Я хочу предложить на рассмотрение альтернативную сборку из отдельных компонентов, которые в сумме предоставляют такой же базовый функционал. Не хочу сказать, что это прямой аналог, но в некоторых простых ситуациях это может быть полноценная, но более лёгкая замена Gitlab.
Gitea - легковесная Open Source-система для управления Git-репозиториями, которую можно развернуть на своем сервере. Отличает её простота установки и настройки, низкие требования к производительности. В самом простом случае Gitea может использовать базу данных SQLite.
Drone CI - популярная система непрерывной интеграции, написанная на Go. Также отличается легковесностью (docker образ ~24Мб), простым синтаксисом yaml файлов для сборки. Легко интегрируется с любым git репозиторием и хранилищем docker образов. Отлично подходит для знакомства с ci/cd на основе docker контейнеров.
Docker Registry 2.0 - вариант локального registry от самой компании Docker. Тоже очень простой продукт с минимальными требованиями к железу. Размер docker контейнера, в котором он запускается 8Мб. При желании к нему можно установить веб интерфейс - docker-registry-ui.
Указанный набор программ связывается между собой в единую систему, обеспечивая базовый функционал по разработке и доставке софта на базе docker контейнеров. Drone CI расширяет функционал с помощью плагинов. Например, плагин для отправки уведомлений в telegram, запуска удалённых команд по ssh, выполнения webhook и т.д.
Если есть идеи, чем можно заменить одну из предложенных программ, предлагайте в комментариях. Я сделал акцент на легковесности и простоте установки, настройки.
Gitea - https://github.com/go-gitea/gitea
Drone - https://github.com/harness/drone
Registry 2.0 - https://hub.docker.com/_/registry
#docker #devops #git
Forwarded from Записки админа
🛠 И да, тут недавно Julia Evans собрала список всех этих современных альтернатив, которые выполняют задачи уже давно известных и используемых утилит - A list of new(ish) command line tools. #shell #будничное
Julia Evans
A list of new(ish) command line tools
Hello! Today I asked on twitter about newer command line tools, like ripgrep and fd and fzf and exa and bat.