xcp — замена для "cp" на Rust

Растовый неполный аналог команды "cp" с более высокой производительностью. На линуксе использует вызов copy_file_range†, адаптируется под особенности файловой системы, включая сетевые маунты; опциально агрессивно параллелит потоки для NVMe-носителей; поддерживает file-globbing.

Потребляет много RAM; на линуксе работает на ядрах от версии 4.5 и выше. Текущий статус — бета, используйте на свой страх и риск.

Ссылка: https://crates.io/crates/xcp

† copy_file_range() on LWN.net (2015): https://lwn.net/Articles/659523/

Продолжение размышлений о "Reinventing Home Directories" by Lennart Poettering, см. слинкованный пост.

lennart-poettering via Reddit: Well. Homed is intended primarily for client machines, i.e. laptops and thus machines you typically ssh from a lot more than ssh to if you follow what i mean. With systemd-homed access to the home directory is simply impossible unless the luks keyphrase (aka "user password") is specified (i.e. tje user logged in) since the data store is after all fully encrypted unless the user logs in. Thats a good thing btw: the user's data should be protected from the system unless the user is actually logged in. Now, ssh public key auth doesnt deal with passwords hence just using ssh pk auth means we couldnt unlock the luks volume simply because we have no keyphrase to unlock things with. So the PAM module that unlocks homed volumes actually enquires the client for the password explicitly if this happens. Unfortunately this is not sufficient for this to work with openssh since its pam hook-up doesnt support asking questions via pam after authentication.

Несколько тезисов на полях о новом systemd-homed:
- является опциональным решением для управления домашней директорей пользователей, и предназначено для десктопных пользователей линукса, преимущественно на ноутбуках или рабочих станциях, но не для серверов;
- не позволяет получить доступ к домашней директории, пока не будет введен LUKS-пароль; таким образом, доступ к пользовательским данным защищен от самой системы (сегодня FDE [full disk encryption] или LUKS обеспечивает безопасность только для data on rest);
- препятствует удаленному SSH-доступу (подразумевается, что homed не будет использоваться на системах, где нужен удаленный доступ), однако остается возможность добавить системного stub-юзера, затычку, через которого будет воможно войти в систему удаленно по SSH, и уже через него авторизоваться в своего локального пользователя (в таком случае пользовательские креденшелы останутся в системной памяти, но именно так оно работает сегодня, так что жаловаться не на что);
- обеспечивает более высокий уровень безопасности засчет изоляции домашнего окружения от системы и тесной интеграции 2fa/аппаратных ключей для авторизации; опциально домашний раздел блокируется при лок-скрине (go-luks-suspend на стероидах);
- пользовательский файл .credentials подписывается ключем и недоступен для изменений, а его поля расширяемы;
- дает отличную переносимость домашней директории между машинами, потенциально существенно облегчит сетевую инфраструктуру для тонких клиентов;
- бекап домашней директории станет гораздо легче;
- да, это не unix-way, но современный мир диктует новые решения;
- существует проблема безопасности маунта домашних директорий как loopback блочных устройств — poettering: Yes this is a problem. To address this systemd-homed is careful to validate the user record enclosed in the volume first (which includes checking its signature against the keyring of accepted record signers) and checks whether the provided user password can unlock it. Only after this validation and that the fs actually matches the record we will mount it. Thus as long as the employer trusts its employees enough things should be reasonably safe. (To make this happen the user record is embedded into the LUKS2 header metadata so that we can use it before mounting the fs); ну, посмотрим 🤷‍♂️;

Список не полный и, вероятно, не очень точный в деталях — не стоит на меня ссылаться. Буду обновлять по мере появления новых интересных деталей, и пока телеграм позволит редактировать пост [upd. достигнут лимит на длину поста, сорян].

Как и обещал, делюсь тем, что со мной пошарили.

От @golang_for_two

Content Security Policy Reference https://content-security-policy.com
Сесурно-правильный конфиг Nginx https://gist.github.com/plentz/6737338

От @dat_sapientiam
Гайды от Мозиллы https://infosec.mozilla.org/guidelines/web_security
https://developer.mozilla.org/ru/docs/Web/HTTP/CORS

Из великих закладок Нардиса Викторовича (@cyberhermitage), дословно его сообщ:

CORS :
- http://performantcode.com/web/do-you-really-know-cors
- https://enable-cors.org/
- https://frontendian.co/cors
- https://medium.com/free-code-camp/the-terrible-performance-cost-of-cors-api-on-the-single-page-application-spa-6fcf71e50147

CSRF:
- https://portswigger.net/web-security/csrf
- https://scotthelme.co.uk/csrf-is-really-dead/
- https://www.owasp.org/index.php/Cross-Site_Request_Forgery_(CSRF)

CSP: https://frontendian.co/csp

Общее по веб-секюрити. что попалось под руку в букмарках:
- Security checklist
- API-Security-Checklist
- The Web Application Hacker's Handbook

Любопытный оборот приняло решительное стремление Джейсона Доненфельда внести Wireguard VPN в апстрим ядра Linux 5.5. Судя по всему, уставши бодаться с чудилами, он принял решение портировать wg с собственного современного криптопакета Zinc на текущую ветку /crypto. А затем отдельно заниматься внесением Zinc в апстрим. См. слинкованный пост для бекграунда данной истории.

> I've long resisted the idea of porting to the existing crypto API, because I think there are serious problems with it, in terms of primitives, API, performance, and overall safety. I didn't want to ship WireGuard in a form that I thought was sub-optimal from a security perspective, since WireGuard is a security-focused project. [...] But it seems like with or without us, WireGuard will get ported to the existing crypto API. So it's probably better that we just fully embrace it, and afterwards work evolutionarily to get Zinc into Linux piecemeal. I've ported WireGuard already several times as a PoC to the API and have a decent idea of the ways it can go wrong and generally how to do it in the least-bad way. [...] I realize this kind of compromise might come as a disappointment for some folks. But it's probably better that as a project we remain intimately involved with our Linux kernel users and the security of the implementation, rather than slinking away in protest because we couldn't get it all in at once. So we'll work with upstream, port to the crypto API, and get the process moving again. We'll pick up the Zinc work after that's done.

Очень, очень жаль, но понятно, что другого выбора не оставили. Лучше так, чем никак. Если на этот раз получится смерджить Wireguard в ядро к версии 5.5, то лично я, наверное, продолжу использовать dkms-модуль c Zinc-пакетом. Из принципа.

Goodbye Motherboard Hello Siliconinterconnect Fabric.

> Our research shows that the printed circuit board could be replaced with [...] silicon [wafer]. Such a move would lead to smaller, lighter-weight systems for wearables and other size-constrained gadgets, and also to incredibly powerful high-performance computers that would pack dozens of servers’ worth of computing capability onto a dinner-plate-size wafer of silicon. [...] This all-silicon technology, which we call silicon-interconnect fabric [Si-IF], allows bare chips to be connected directly to wiring on a separate piece of silicon.

> Eliminating the PCB and its weaknesses means the chip’s I/O ports can be spaced as little as 10 µm apart instead of 500 µm. We can therefore pack 2,500 times as many I/O ports on the silicon die without needing the package as a space transformer. [...] Even better, we can leverage standard semiconductor manufacturing processes to make multiple layers of wiring on the Si-IF.

> with silicon-interconnect fabric, you can start with chiplets, which we already know can be manufactured without flaws, and then link them to form a single system. A group of us at the University of California, Los Angeles, and the University of Illinois at Urbana-Champaign architected such a wafer-scale system comprising 40 GPUs. In simulations, it sped calculations more than fivefold and cut energy consumption by 80 percent when compared with an equivalently sized 40-GPU system built using state-of-the-art multichip packages and printed circuit boards.

> Small dielets are less expensive to make than a large SoC because, as we mentioned before, you get a higher yield of working chips when the chips are smaller. [...] upgrading an SoIF to a new manufacturing node should be cheaper and easier. Each dielet can have its own manufacturing technology, and only the dielets that are worth upgrading would need to be changed. Those dielets that won’t get much benefit from a new node’s smaller transistors won’t need a redesign. This heterogeneous integration allows you to build a completely new class of systems that mix and match dielets of various generations and of technologies that aren’t usually compatible with CMOS. For example, our group recently demonstrated the attachment of an indium phosphide die to an SoIF for potential use in high-frequency circuits.

Article by: Puneet Gupta and Subramanian S. Iyer (UCLA, USA) on IEEE Spectrum

P.S. Шайба-суперкомпьютер, идеально.

Зачастую, когда я остро нуждаюсь в быстрой дозе дофамина, я иду в интернет собирать новости с переднего края научно-технического прогресса по какой-либо спонтанно выбранной теме.

Это могут быть как привычные компьютеры и около, так и совсем отдаленные области из ряда "интересно, а что там происходит". С разной периодичностью я читаю о новациях в области электрификации гражданских авиаперелетов, на рынке солнечной энергетики и фотовольтаики в целом, насколько 3D-печать лазерным спеканием (DMLS) приблизилась к бытовому использованию, какой прогресс в области иммунотерапии раковых заболеваний, какие новые технологии искусственного мяса в пищевой промышленности — и многое-многое другое, что может спровоцировать мой сиюминутный интерес.

Особое положение занимают новости из мира прикладного медициского оборудования, в особенности диагностического. В частности, хочется повсеместно иметь еще более точные МРТ, с минимальной лучевой нагрузкой, существенно более быстрым временем сканирования и без мучений клаустрофобией.

Что доставляет еще больше удовольствия? Когда кто-то не поленился проделать такой обзорный анализ за тебя и оформил пост в удобном емком виде со ссылками на источники. В данном случае, это сделал Александр Куклев (физическое образование способствует высокому качеству контента) — еще один блогер из моих старых проверенных подписок.

Пост о прорывах в области Medical imaging: https://akuklev.livejournal.com/1297526.html

Любопытную политтехнологию демонстрирует команда премьер-министра Великобритании на стыке публичной риторики и SEO/SMM — как средство борьбы с нежелательной для политика поисковой выдачей в сети. Вообще, Великобритания не перестает удивлять технологическим уровнем политических кампаний последних лет.

А еще рассмешило "Prime sinister of the UK" в комментариях 😆.

https://twitter.com/TheAndyMaturin/status/1178303707357892608

Продолжаются скандалы, открытый vpn-клиент WireGuard был удален из Google Play. Правда в этот раз за нарушение правил размещения в магазине приложений - они в описании клиента дали ссылку на страницу, где можно было донатить деньги.

Когда фанаты андроида говорят вам, что в Google Play свобода - не верьте, сейчас все магазины приложений от производителей ОС плохи. Но андроид лучше iOS тем, что хотябы можно поставить альтернативный стор https://lists.zx2c4.com/pipermail/wireguard/2019-October/004596.html

andOTP: Removed from the Google Play Store #396
https://github.com/andOTP/andOTP/issues/396

Перешиваю все свои андроидофоны на LineageOS до того, как снять пленку с экрана и вставить симку. Использую F-Droid и Yalp вместо Play-маркета, NewPipe вместо стокового youtube-клиента, andOTP вместо Google Authenticator. Гуглу осталось забанить Keepass DX и будет комбобрейк: станет недоступен почти весь секьюрити софт, которым я пользуюсь на телефоне.

Не скажу, что жизнь цифрового маргинала проста и безоблачна — большое количество необходимого софта отказывается работать без GooglePlayServices, в частности без Firebase-облака. Но свобода лучше несвободы.

Upd 08.2021: Aurora Store вместо Yalp.

Южнокорейский Samsung успешно перенес производство смартфонов из Китая в другие регионы (Вьетнам, Таиланд и в будущем Индию). Самсунг продолжает производить в Китае телефоны для внутреннего рынка, доля которого снизилась до 1.1%, а также развивает фабрику производства чипов памяти в китайском Сиане. Рад любым новостям о региональной диверсификации производственных мощностей.

Ссылка: https://www.ft.com/content/4d8285a2-eff0-11e9-ad1e-4367d8281195

Задался вопросом, не слишком ли много кофе я пью. Наткнулся на краткий, но ёмкий буклет с актуальными нормативами потребления кофе от EFSA (European Food Safety Authority). Иду по верхней границе нормы, но все-таки нормы.

#health

SiFive анонсировали новое поколение RISC-V процессоров U8-Series Core IP

SiFive, производитель коммерческих процессоров на базе открытой архитектуры RISC-V, анонсировали новую линейку (относительно) высокопроизводительных процессоров серии U8 Core IP. Новая серия оптимизирована под 7нм техпроцесс и имеет почти четырёхкратный рост производительности от предшествующего флагмана (SiFive Unleashed). Линейка представлена в двух моделях: SiFive U84 (RV64GC) и SiFive U87 (RV64GCV), где старшая — имеет поддержку векторных расширений.


Ключевые, на мой любительский взгляд, тезисы:

• 7нм, ~4-кратный рост производительности;

• "A quad-core SiFive U84 CPU, including 2MB of L2 cache, requires only 2.63mm2 in 7nm process technology while capable of operating at up to 2.6GHz clock speed";

• "The SiFive U84 standard core offers an incredible increase of 2X better area efficiency and 1.5X better performance/watt, with very competitive performance when compared to an Arm® Cortex®-A72 processor." То есть заявляется сравнимая с Cortex-A72 производительность, где U85 вдвое эффективнее по площади чипа и в 1.5 раза по performance-per-watt? Не то чтобы это было невозможно, но я подожду бенчмарков;

• "Validated in a leading-edge 7nm process technology, the SiFive HBM2E+ solution offers memory bandwidth up to 400Gbps, or 3.2Gbps per pin". В качестве памяти могут использоваться SRAM, DRAM или HBM2E, компания разработала и внедрила поддержку необходимых интерфейсов;

• поддержка векторных расширений(!) в U87, судя по всему, аналог ARM SVE (который, вроде, так нигде пока и не вышел);

• платформа поддерживает гетерогенные ядра: возможно совмещение четырех новых U84, четырех старых U74 и одного S2 ядра (подобно ARM).

Это начинает выглядеть очень круто. Полгода назад CEO SiFive обозначил свое видение: первые смартфоны на RISC-V — через два года, первые серверы на RISC-V — через пять лет. Ну и, надеюсь, ребята из Raspberry Pi Foundation когда-нибудь примут тяжелое решение о миграции платформы.

Подкасты

Я слушаю очень много подкастов. Когда умываюсь, делаю уборку, готовлю, ем и мою посуду. Когда выхожу из дома, выношу мусор, иду в магазин или на прогулку. Когда встаю из-за рабочего стола и завариваю кофе — почти всегда беру с собой телефон и жму на "Resume" для воспроизведения текущего подкаста.

На моей памяти это началось около девяти-десяти лет назад: сначала с аудиокниг (это отдельная интересная тема), затем с аудиодорожек ночной ТВ-передачи диалогов Гордона с учёными (когда-то этот человек делал годный контент). А затем вошло в привычку.

Время от времени я заставляю себя рефлексировать на эту тему, но не нахожу убедительных причин слушать меньше подкастов или вовсе перестать. Во-первых, поток новой, желательно качественной, информации не идёт в ущерб — процесс выноса мусора или мытья посуды не станет более созидательным, если я буду заниматься этим в тишине. Скорее наоборот, подкасты позволяют с удовольствием проводить время за не слишком интересной рутиной. Во-вторых, я получаю огромный пласт информации от тщательно отфильтрованных мной источников. И, наконец, берегу здоровье, позволяя хоть какое-то время отдохнуть глазам — при прочих равных я предпочту аудиоверсию какой-либо статьи очередному чтению с экрана.

Сегодня в моей ленте ровно 60 подкастов. Все они прошли мою субъективную проверку. Все, кроме двух-трех свежих подкастов, что находятся в процессе оценки. Я ревностно отношусь к своему свободному времени.

Подкасты можно разделить на условные группы: технические, бизнесовые, новостные и политические, научные и медицинские, а также авторские. Одни подкасты обновляются раз в несколько месяцев, другие (например, из радиоэфира) по два десятка выпусков за день. Часть подкастов состоит из аудиодорожек, вырезанных из видео, от интересующих меня youtube-каналов. За последние пять лет, по субъективным оценкам, баланс англоязычных подкастов занял две трети по отношению к русскоязычным. Не стоит говорить, что мой слуховой английский (британский и американский, а также всевозможные вариации акцентов) с этого момента существенно вырос.

❧❧❧

На тему публикации списка рекомендуемых мной подкастов уже несколько месяцев меня подбивает Олег. Подкастов в ленте много, хотелось бы сопроводить ссылки хотя бы парой слов от себя, а времени мало. Поэтому я планирую сделать серию постов о подкастах разных категорий. Будем считать, что начало положено ;-).

#podcasts

Но начать я хотел с другого. В последний год я стараюсь удалять подписки из своей ленты, а не добавлять новые, но тут появилось действительно, на мой вкус, интересное шоу для серверных нердов.

С первых четырех эпизодов готов порекомендовать свежий технический подкаст про софтварные и аппаратные Self-Hosted решения. Вчера послушал про опыт использования двух Raspberry Pi 4 для селф-хостинга длинного списка сервисов — давно собирался, но теперь твердо намерен собрать кластер из 2-4 новых малинок. Там же рекомендовали недорогой travel-роутер с интересными ТТХ, о котором я ранее ничего не слышал.

Данный подкаст является частью Jupiter Broadcasting — синдиката технических околоюниксовых подкастов на любой вкус.

Сайт: https://selfhosted.show/
Feed: https://feeds.fireside.fm/selfhosted/rss

#podcasts

Потрясающей красоты и наглядности видео об устройстве EUV-фотолитографии с комментариями от сотрудников ASML и Intel.

“ASML is the most important tech company you’ve never heard of.”

Ранее по теме: раз, два и три.
Видео: https://www.youtube.com/watch?v=f0gMdGrVteI

Краткий выпуск телепередачи "Моя cемья".

Я тут давеча узнал презабавный факт: культовый инженер в полупроводниковой области Jim Keller (DEC, AMD, Tesla, Intel) — является зятем (муж сестры) для Dr. Jordan Peterson (тот самый).

Не знаю, что вам делать с этой информацией.

Был вынужден остановить все дела, чтобы НЕМЕДЛЕННО выяснить, какая скорость интернета на МКС.

> google: ISS internet speed
> upgraded to 600 mbit/s on Aug 2019

https://www.nasa.gov/feature/goddard/2019/data-rate-increase-on-the-international-space-station-supports-future-exploration

that's why defense in depth is important
https://twitter.com/hashbreaker/status/1198395661403725824

RISC-V Foundation moving to Switzerland over trade curb fears

https://www.reuters.com/article/us-usa-china-semiconductors-insight/u-s-based-chip-tech-group-moving-to-switzerland-over-trade-curb-fears-idUSKBN1XZ16L

Bienvenue en Europe!

Raspberry Pi Recovery Kit (source)

#aesthetics