#kafka

У меня возник с кафкой такой баг:

ERROR Error while creating ephemeral at /brokers/ids/0, node already exists and owner

и судя по всему его можно решить если в server.properties не устанавливать broker.id, я перезагрузил кафку и вроде пока работает, надо проверить как дальше всё будет, надеюсь проблем не возникнет.

https://kafka.apache.org/documentation/#brokerconfigs_broker.id

#refactoring #testing

Я только что понял, что совершил большую ошибку. Друзья, старайтесь избегать вызова функции, которая работает с внешним сервисом из другой функции. Как например

async def prepare_my_data_from_db():
    data = await get_data_from_db()
    return prepare_data(data)

для того, чтобы такое затестировать вам придётся написать мок в тесте, который будет знать, что в функции prepare_my_data_from_db существует какая-то другая функция, что с точки зрения тестирования не совсем правильно на сколько я понял

либо вам придётся создавать к тестируемой функции ещё дополнительно какие-то данные, чтобы get_data_from_db возвращала вам нужные данные

чтобы такую ошибку не повторять вместо этого делайте так

my_data = await get_data_from_db()
async def prepare_my_data(data):
   return prepared_data

тогда если вы захотите протестировать это, вам не надо будет мокать get_data_from_db, а вы сможете напрямую передать тестовые данные в функцию

#kubernetes #courses

Отличный курс по куберу, за несколько дней интенсивного просмотра можно неплохо понять что такое кубер и что в нем вообще есть

https://www.coursera.org/specializations/architecting-google-kubernetes-engine

#kubernetes #yml

https://k8syaml.com/

удобный конструктор ямл файлов для кубера

#kubernetes #minkube

Если у вас в кластере не резолвятся имена, но при этом конфиги все точно настроены нормально и даже пример из документации https://kubernetes.io/docs/tasks/administer-cluster/declare-network-policy/ не работает попробуйте проверить работает ли днс у кластера через

kubectl get pods --namespace=kube-system

я посмотрел логи днс, и оказалось что банально лимит открытых файлов превышен. Фиксится так: https://github.com/kubernetes-sigs/kind/issues/2744#issuecomment-1127808069

#kubernetes

репа гугла с кучей примеров по куберу и GKE

https://github.com/GoogleCloudPlatform/training-data-analyst/tree/master/courses/ak8s/v1.1

#certification #career

Я тут нашёл сертификацию от IEEE по сотваре инженерингу, думаю попробовать раз пока у меня вышки нет.

Ресертификация там раз в три года, экз стоит 350 баксов. Вероятно к моменту когда серт истечёт я уже формальное образование получу и всё будет норм

https://www.computer.org/product/education/professional-software-developer-certification

Ещё я нашёл гайд по индида по тому что делать если формального образования нет, курс там и нашёл

https://www.indeed.com/career-advice/career-development/software-engineering-certifications

От IEEE мне курс кажется самым респектабельным, потому что у этого института в целом неплохая репутация + большой объем выпуска всяких журналов и тп.

#http #protocols
https://datatracker.ietf.org/doc/rfc9114/
кому интересно почитайте рфцшку, я пока для одной штуки читаю. http3 сильно похож на http2 за исключением того что http3 поверх QUIC протокола, так что не думаю что про http2 надо читать перед этим рфц

#opendata #gis
друзья, если захотите как-нибудь потыкать все кадастровые участки росреестра и не залезать на сайт то просто скачайте QGIS и загрузите их при помощи API росрееестра следующим образом:
1) в кугисе проекцию ставите EPSG:3857
2) ставите себе на подложку какой-нибудь слой на выбор, я поставил себе OSM при помощи Layer -> Data Source Manager -> XYZ, там в урле просто пишете https://a.tile.openstreetmap.org/{z}/{x}/{y}.png
3) ставите сам слой от росреестра непосредственно при помощи Data Source Manager но для источника данных уже выбираете не XYZ а Vector Tile и пишете в урл соединения https://pkk.rosreestr.ru/arcgis/rest/services/Hosted/caddivsion/VectorTileServer

#СоерКлуб

#gis

https://github.com/tilezen/mapbox-vector-tile

я тут удобную либу для чтения pbf файлов нашёл

можно будет просто спарсить все кадастровые данные с росреестра по экстенту который мне нужен

#gis

https://pypi.org/project/vt2geojson/

я тут нашёл удобную либу которая читает pbf файлы и переводит коорды внутри в нормальные WGS коорды

#gis

https://wiki.openstreetmap.org/wiki/Slippy_map_tilenames#Derivation_of_tile_names

я нашёл как конвертить осм координаты в формате zoom column row в градусы и обратно, чтобы можно было по экстенту строить сетку из таких квадратиков

#opendata #geodata

я тут нашёл инвестиционную карту на которой есть траффик, плотность населения и тп. Вроде как у каждого субъекта РФ своя такая есть

https://investmoscow.ru/about-moscow/investment-map-v2?mainType=1

#parsing #proxies

НИКОГДА не забывайте, что даже если прокси https, то коннект к нему возможно прокидывается через http и если в клиенте укажете
{"http": "http://myproxy.ai", "https": "https://myproxy.ai"}

могут появится большие проблемы, лучше всегда прописывать как http чтобы не сидеть с удивлённым лицом и отлаживать небольшой кусочек кода кучу времени

#career

Я тут на интересный гайд по собесам в новых условиях нашёл

https://vas3k.club/post/20213/

#utils

я нашёл прикольную рисовалку, которую можно шерить с другими людьми

https://excalidraw.com/

#traefik

Оказывается, у траефика есть возможность настраивать конфиг динамически через свою систему для темплейтов

https://community.traefik.io/t/how-to-do-macro-like-templating-with-parameters-in-dynamic-configuration/13994/2

#geodesy #ellipsoid

https://proj.org/en/9.3/usage/ellipsoids.html

оказывается для проекции земли под каждый регион можно использовать свой собственный эллипсоид (то есть свою собственную модель Земли), судя по всему по такому принципу работают региональные системы координат

#career

Залипательная книга про карьеру

https://book.soft-skillz.work/00-Intro.html