Накопившиеся размышления вслух по поводу доступности данных:
1. Одно из отличий экономически развитых стран в наличии региональных статистических порталов с данными, статистических обсерваторий, панелей для наблюдения и тд. Иначе говоря живой машиночитаемой региональной и муниципальной статистики. Причины логичны, в потребности региональных властей знать объективную картину экономики, демографии и тд. Это сильно контрастирует, например, с российскими регионами где есть сайты терр управлений Росстата PDF отчетами, иногда в сканах. А, в лучшем случае, некоторые показатели есть на сайтах открытых бюджетов. Для сравнения во всех землях Германии и кантонах Франции есть не только сайты/онлайн ресурсы региональных стат служб, но и, либо статистические интерактивные порталы, либо публичные BI системы, либо иные стат порталы визуализации и публикации региональной статистики.

2. Поиск Google не говоря уже о других общего типа поисковиках не дает полной картины где какие данные находятся даже на уровне просто где лежат. Многие порталы данных находятся только разными другими способами data discovery, с помощью сервисов вроде Censys (очень дорогой, хорошо документированный) или FOFA (китайский, дешевый и попроще) которые позволяют находить веб сайты по совокупности признаков. При наполнения реестра каталогов Dateno я это наблюдаю постоянно.

#thoughts #data #statistics

🇺🇿Геопорталы Республики Узбекистан

Кадастр и национальная ГИС

Публичный геопортал Агентства кадастра
 https://open.ngis.uz
 Национальная витрина госреестра прав на недвижимость. Можно узнать кадастровый номер участка, адрес и вид использования, получить список объектов и выписку. Часть сервисов — через OneID (id.egov.uz); расширенные сведения для частных пользователей могут быть платными. С внешней сети портал часто не открывается.

ArcGIS Server Национальной ГИС (NGIS)
 https://db.ngis.uz/db/rest/services
 Машинный контур того же кадастра: REST-слои, которыми питается open.ngis.uz. Отдельная запись в реестре, потому что это не веб-карта, а каталог сервисов. Хост с внешних сетей таймаутится.

Сельское хозяйство
 ArcGIS Server Министерства сельского хозяйства
 https://gis.agro.uz/server/rest/services
 Самый «живой» открытый GIS API страны (ArcGIS Server 10.9). В дереве сервисов — размещение основных и повторных культур 2023–2026, контуры полей, дехканские хозяйства, виноградники и лесные земли, геоботаника, гумус / фосфор / калий / засоление почв, реки, каналы, коллекторы и водохранилища, водоохранные зоны, NDVI/NDMI, слои Uzbekcosmos и данные Кадастрового агентства. Есть и веб-геопортал: https://gis.agro.uz
Градостроительство

 ГИС Государственного градостроительного кадастра (DSHK)
 https://dshk.uz
 Геопортал «УзГАШКЛИТИ»: градостроительные слои, кадастровые карты, границы и застройка. Публичные слои без логина, полный доступ — по учёткам администратора. Автоматическим клиентам сайт отвечает 403.
────────

Научный репозиторий
 Uzbekistan IPT (GBIF)
 https://cloud.gbif.org/uz
 Узел Института ботаники АН РУз. Сейчас 88 наборов (~52 тыс. записей): 85 occurrence и 3 чеклиста. Флора Ферганы, Нуратау, Западного Тянь-Шаня, гербарии вузов, гидробионты Зеравшана и Сырдарьи, эндемики Allium, Iris, Gagea. Есть DCAT и RSS.
────────

Каталоги индикаторов
Это уже не геослои, а ряды и публикации Нацстаткомитета и ЦБ.

SIAT — https://siat.stat.uz
 Интегрированный статистический портал: SDMX, Excel/CSV/JSON/XML и REST. В API — 3 000+ рядов по экономике, населению, АПК и окружающей среде.
stat.uz — https://stat.uz

Официальный сайт комитета: публикации и отраслевые отчёты. Машиночитаемые ряды — в SIAT.
ЦУР — https://nsdg.stat.uz
 190 национальных индикаторов Целей устойчивого развития, выгрузки XLSX/CSV/JSON.

Гендерная статистика — https://gender.stat.uz
 180+ показателей с разбивкой по полу: демография, образование, здоровье, труд, соцзащита.
Центральный банк — https://cbu.uz/en/statistics/
 Денежно-кредитная, банковская и макроэкономическая статистика.
NSDP / МВФ — http://nsdp.stat.uz/
 Страница e-GDDS: сводные макроиндикаторы и SDMX для Dissemination Standards Bulletin Board.
────────

Коротко
• Открытый машинный доступ к геоданным реально есть у Минсельхоза.
 • Кадастр и DSHK — витрины с идентификацией, не bulk-каталоги.
 • Рядом с гео — сильный статистический контур (SIAT, ЦУР, гендер) и узкий, но живой GBIF-узел.

Региональный бонус, не национальный: Central Asia and Caucasus GeoPortal (Esri ArcGIS Hub) — учебные и обзорные слои по Центральной Азии, включая Узбекистан.

#uzbekistan #geodata #datacatalogs

В рубрике как это устроено у них европейский проект European Language Grid (ELG) включающий каталог языковых ресурсов по языкам Евросоюза и по языковым ресурсам собранным в странах Евросоюза, включая русский, турецкий, казахский, украинский, белорусский и др. В общей сложности это более 8 тысяч ресурсов где, например, по русскому языку их около 700. Каталог включает как данные для выгрузки, так и ссылки на внешние ресурсы, так что это что-то гибридное между каталогом данных и поисковиком по метаданным.

С одной стороны это интересный ресурс с материалами компьютерной лингвистики, а с другой в Виртуальной языковой обсерватории (VLO) проекта CLARIN языковых ресурсов почти 564 тысячи. Можно, конечно, говорить что что ELG про каталог данных, а VLO это все виды цифровых ресурсов, но и в ELG не только наборы данных, да и каталог данных там без схем, кодебуков, документации так далее. Тем не менее ещё один каталог данных Евросоюза.

#opendata #datacatalogs #europe #linguistics

Читаю новости про то как ИИ агенты взломали вики и обменивались там лучшими практиками обмана при выполнении некоторых задач.

У меня возникает много вопросов, ведь ИИ агенты прочитают эту новость и сделают ещё один логичный вывод что надо маскироваться лучше.

Так когда мы дождемся что ИИ агенты начнут использовать блокчейн, иные способы коммуникации через мэш-сети, например, или когда создадут свой "мессенжер для роботов", когда начнут шифровать всю переписку, когда начнут использовать язык коммуникации отличный от человеческих разговорных?

Да и я вот пишу об этом всем и жду когда ИИ агенты считают этот текст и возьмут в работу все эти идеи.

Скоро "не подсказывай им" будет не про известных людей, а про ещё неизвестных нам автономных ИИ агентов😂

#ai #thoughts

В рубрике интересных порталов статистических данных PRIS (Power Reactor Information System) информационная система с базой и показателями по всем ядерным реакторам в мире. Включает как основные их характеристики, так и набор временных рядов по выработке энергии, энергопотерям и так далее. А также профили стран где реакторы расположены.

Визуально сделано неплохо, но для меня это скорее антипример потому что данные можно только экспортировать из их визуализаций, а внутри все сделано на PowerBI с ограничениями на получение данных, API и так далее.

Тем не менее данные временных рядов там актуализированы на 2025 год и много других полезных сведений.

Вот такого подхода когда данные на статистическом портале публикуются через виджеты PowerBI, Qlik или Tableau достаточно много. Чаще в беднейших странах именно из-за бедности ну или вот тут как IAEA которые явно не хотят сами датасеты выкладывать отдельно.

#statistics #nuclear #energy

В рубрике как это устроено у них ITStats отраслевая система статистики Республики Корея. Включает множество показателей по доходам, объёмам рынков, занятости, дефиците кадров, экспорте товаров и услуг и многое другое в привязке именно к ИТ рынку. Существует только на корейском языке (но это легко преодолевается расширениями для перевода для браузеров). Внутри работает на базе статистической платформы KOSIS на которой работает и национальная система показателей Южной Кореи.

#statistics #southkorea #datacatalogs

Написал в рассылку на Substack текст Про рынки и биржи данных будет полезным для всех кто думает про маркетплейсы данных так или иначе.

Краткий вывод - лучше много раз подумать, потому что бизнес модели, кроме некоторых случаев, вызывают большие сомнения. Совсем подробный и длинный текст будет как-нибудь в другой раз, а пока обзорный для тех кто об этом думает.

#data #datacatalogs

Разные мысли вслух:
1. Я раньше не обратил внимание, а оказывается возглавляемая Китаем World Artificial Intelligence Cooperation Organization (WAICO) активно растет и в конце июля туда ещё 8 стран присоединилось и 1 страна стала наблюдателем. Все, конечно, страны 3-го и 2-го мира, например, туда вступила Грузия. Думаю что туда вступят все страны с где сильно влияние Китая. А вот Армения вступит врядли учитывая что на её территории уже строится ЦОД FireBird с чипами Nvidia. Скорее интересно пустят ли и вступит ли Армения в Pax Silica организованный США и противостоящий WAICO де-факто.

2. Госрегулирование "замедления разработки ИИ" мне с самого начала казалось совершенно нереалистичным. Учитывая прогресс китайских компаний то все попытки самоограничений ведущих ИИтехов в США приведут лишь к тому что китайские открытые модели станут лучше и более востребованными. Я вообще не понимаю как сейчас можно остановить прогресс при разработке ИИ кроме как глобальными катастрофами, восстаниями и войнами (тоже катастрофами).

3. Можно измерять новые виды неравенства, по доступности данных и информации для граждан. Все индексы доступности тех или иных данных и сведений можно разделить на те страны где данные не публикуются потому что не собираются (некоторые совсем бедные страны) и те страны где данные собираются, но не публикуются. Во втором случае - это пример неравенства доступа к информации для власти, для элиты и для рядовых граждан. Один из важнейших критериев - это доступность гиперлокальных данных, качество жизни в конкретных локациях. Но это самое сложное в измерении, хотя видно что в развитых странах эти данные есть почти всегда.

4. Хотите очень много научных данных? DandiArchive инициатива по публикации данных по нейрофизиологии. 2.3 Петабайта данных на сегодняшний день. Много это или мало ? Для доступных данных - много, для закрытых архивов не так много, но тоже существенно.

#opendata #ai #thoughts

Полезные ссылки про данные, технологии и не только:
- mnemiq - текст-в-SQL движок с открытым кодом и подробным рассказом почему его сделали, как он устроен и чем отличается от ранее существующих. Если кратко, то создатели сфокусировались на разных SQL диалектах и преодолении ограничения в 30 таблиц у движка Genie от Databricks. Полезно для всех кто работает с большими корпоративными хранилищами данными, сложно устроенными и с большим числом таблиц.
- Pandas Should Go Extinct текст где автор рассуждает о том что давно уже не надо использовать Pandas в разработке и аналитике потому что альтернативы Polars и DuckDB лучше настолько что непонятно почему ими не пользуются.
- Tau ещё один терминальный кодирующий агент, пока не могу сказать чем он лучше других, но он есть и его можно попробовать
- Cline Desktop настольное приложение для запуска моделей с открытыми весами. Обещают много разного полезного и есть версии для Mac и Windows. С открытым кодом
- OpenResearch параллельно работающие исследовательские агенты в локальном окружении. Приложение для Windows и Mac, с открытым кодом. По мне так в описании маловато кейсов описано

#opensource #ai #tools #data

🇬🇪 Открытые данные Грузии: где искать?

Разбираем экосистему грузинских каталогов данных — от национального портала до городских карт.

Вот главные источники:
📊 Data.gov.ge — национальный портал открытых данных Официальный портал, запущенный в рамках инициативы Open Government Partnership. Ведёт Агентство цифрового управления при Минюсте. Наборы данных госорганов, интерфейсы на грузинском и английском. 🔗 data.gov.ge
📈 GEOSTAT Data Catalog — статистика Грузии Официальная база Национального статистического управления (Geostat) на платформе PxWeb. Демография, экономика, сельское хозяйство, экология — многомерные таблицы с открытым API (PxWeb API). 🔗 https://pc-axis.geostat.ge/PXWeb/pxweb/ka/Database
🗺 NSDI.gov.ge — национальный геопортал Геопортал национальной инфраструктуры пространственных данных от Национального агентства публичного реестра (NAPR). Поиск, просмотр и скачивание геоданных, каталог метаданных. А рядом — интерактивная кадастровая карта maps.gov.ge с участками, адресами и ортофото.
🌲 Forest & Land Use Atlas — atlas.mepa.gov.ge Атлас лесов и землепользования Министерства экологии и сельского хозяйства на ArcGIS Hub.
🔬 OpenScience.ge — научный репозиторий Цифровой репозиторий грузинских научных работ (DSpace-CRIS) Национальной научной библиотеки: статьи, диссертации, научная продукция. Есть API и OAI-PMH.

💰 Тематические порталы:
▫️ opendata.spa.ge — госзакупки в формате Open Contracting Data Standard
▫️ sdg.gov.ge — мониторинг Целей устойчивого развития
▫️ budgetmonitor.ge — бюджетный монитор Счётной палаты

🏘 Городские геопорталы:
▫️ Тбилиси — архитектурная карта мэрии (mgis.tbilisi.gov.ge)
▫️ Батуми — карта аварийных зданий (maps.batumi.gov.ge)
▫️ Кутаиси — геопортал мэрии (map.kutaisi.gov.ge)

📉 Бонус:
Caucasus Barometer (caucasusbarometer.org) — ежегодные данные социологических опросов по Кавказу от CRRC.

#opendata #georgia #datacatalogs #data #datasets

🇦🇲 Каталоги данных Армении: где искать цифры, карты и микроданные

У Армении нет официального государственного open data-портала. Зато есть сильная официальная статистика, живой гражданский CKAN и довольно зрелая геоинфраструктура. Ниже — что реально работает и куда идти в первую очередь.

📊 Официальная статистика — главная опора
Ядро публикует Statistical Committee (Armstat). Это классический «скандинавский» стек, а не витрина PDF.
• ArmStatBank — национальный банк таблиц на PxWeb: население, экономика, сельское хозяйство, транспорт, экология. Есть API (EN/HY).
 https://statbank.armstat.am
• SDG Armenia — национальный OpenSDG. 306 индикаторов ЦУР, 85% уже выложены онлайн (261 из 306). Слабое место — цель 14 «жизнь под водой»: онлайн только 31%.
 https://sdg.armstat.am
• NSDP — страница макропоказателей по стандарту МВФ SDDS, с выгрузками SDMX.
 https://armstat.am/nsdp/
• ArmStat Microdata Library — 26 исследований в NADA: переписи, ILCS (условия жизни домохозяйств), DHS, сельхозперепись 2014, AGRIS. Часть файлов открыта, часть — по запросу или на внешних площадках вроде DHS Program.
 https://microdata.armstat.am
Отдельно — статистика Центрального банка: денежный рынок, финансы, макроряды. https://www.cba.am/en/statistics

📂 Открытые данные: гражданский каталог вместо госпортала
Роль национального каталога фактически играет команда Open Data Armenia.
• data.opendata.am — CKAN, 823 набора. Агрегирует госданные, науку и НКО: 8 организаций, крупнейший паблишер — сама Open Data Armenia (404 датасета), далее WorldPop, REC Caucasus, горная сеть Caucasus. Есть полноценный CKAN API.
 https://data.opendata.am

Рядом — прикладные источники, которых нет в «красивом каталоге»:
• ARMEPS — электронные закупки Минфина. В публичных отчётах — Excel по процедурам, заявкам и контрактам.
 https://armeps.am
• AirQuality.am — гражданский портал качества воздуха: PM1/PM2.5/PM10, температура и влажность, в том числе сенсоры мэрии Еревана. Есть JSON API и массовые выгрузки.
 https://airquality.am
• Armhydromet — гидрометеоцентр Минприроды: наблюдения сети станций, месячные данные, годовые сводки.
 https://meteomonitoring.am

🗺 Геоданные: кадастр, Севан, леса, недра
Здесь картина богаче, чем у многих соседей.
• Национальный геопортал (Комитет кадастра) — кадастр, адреса, ортофото, границы, рельеф, гидрография, транспорт. Это официальный NSDI-узел страны.
 https://geoportal.am
• EcoPortal Минприроды — слои по озеру Севан, гидрографии, землепокрову и климатическим рискам. Публикуется через GeoServer WMS.
 https://ecoportal.am
• Forest Atlas — интерактивный лесной атлас (MapBuilder Global Forest Watch), лицензия CC BY 4.0.
 https://forestatlas.am
• Геологический фонд — месторождения, паспорта шахт, лицензии на недра, интерактивная карта.
 https://www.geo-fund.am
• GIS Еревана — муниципальный ArcGIS Enterprise.
 https://gis.yerevan.am/portal
• Ecosystem Accounting of Armenia — NextGIS-каталог Центра сохранения биоразнообразия: землепокров, экосистемные услуги, слои InVEST.
 https://bccarmenia.nextgis.com

🔬 Наука
• ArVO / Бюракан — виртуальная обсерватория: оцифрованные пластины First Byurakan Survey и спектры, доступ через IVOA TAP.
 http://arvo-registry.sci.am/
• ArmLifeBank — биомедицина Института молекулярной биологии НАН: геномика, транскриптомика, клинические и мультиомные наборы на FAIRDOM-SEEK.
 https://armlifebank.am/
• OpenAIRE NOAD — цифровая библиотека Института проблем информатики НАН, OAI-PMH.
 https://noad.sci.am

⚠️ Что важно понимать
Госпортала открытых данных нет. Если нужен «единый вход» — это CKAN сообщества, а не data.gov.am.
Лучший официальный слой — Armstat + кадастр + Минприроды, не министерские витрины.

#opendata #armenia #datacatalogs #datasets

FAIRDOM-SEEK: каталоги научных данных, моделей и протоколов

FAIRDOM-SEEK — открытая платформа для описания, публикации и связывания научных активов: датасетов, моделей, SOP и вычислительных пайплайнов. Под капотом ISA-структура (investigation → study → assay), JSON API, DOI и форматы вроде RO-Crate. Сайт проекта: https://seek4science.org
Флагман сообщества — FAIRDOMHub: публичный хаб системной биологии, который ведут консорциум FAIRDOM и ELIXIR Germany. https://fairdomhub.org/

Рядом стоят специализированные инстансы того же стека:
• WorkflowHub — реестр вычислительных workflows (CWL и не только)
 https://workflowhub.eu/
• DataHub (ELIXIR Belgium) — метаданные экспериментов и брокеринг в репозитории EBI
 https://datahub.elixir-belgium.org/
• IBISBA Knowledge Hub — промышленная биотехнология
 https://hub.ibisba.eu/
• LiSyM SEEK — системы медицины печени
 https://seek.lisym.org/
• Leipzig Health Atlas — модели и клинические данные Лейпцига
 https://www.health-atlas.de/
• ArmLifeBank — биомедицинские данные Армении (геномика, клиника, мультиомика)
 https://armlifebank.am/

Отдельный пласт — Local Data Hub консорциума NFDI4Health: локальные SEEK-каталоги клиник и исследовательских центров Германии. Метаданные исследований можно публиковать в центральный Health Study Hub, а сами данные остаются у держателя.

Сейчас в этой сети, помимо Leipzig Health Atlas и MeDIZ.Rostock, открыты хабы:
• Stroke Unit Köln — https://ldh.stroke-koeln.imise.uni-leipzig.de/
 • UK Erlangen — https://ldh.uker.imise.uni-leipzig.de/
 • ZKS Leipzig — https://ldh.zks.uni-leipzig.de/
 • DZKJ Göttingen — https://ldh-dzkj.vm.gwdguser.de/
 • IMISE / Leipzig University — https://ldh.imise.uni-leipzig.de/
 • UK Schleswig-Holstein — https://ldh.uksh.imise.uni-leipzig.de/
 • UK Würzburg — https://ldh.uk-wuerzburg.imise.uni-leipzig.de/
 • DIZ Greifswald — https://ldh.diz-umg.imise.uni-leipzig.de/
 • LIR Mainz — https://ldh.lir-mainz.imise.uni-leipzig.de/
 • DRFZ Berlin — https://ldh.drfz.imise.uni-leipzig.de/
 • ZKS Freiburg — https://ldh.zks-freiburg.imise.uni-leipzig.de/
 • ZKS Hannover (MHH) — https://ldh.zks-mhh.imise.uni-leipzig.de/
 • ZKS Witten/Herdecke — https://ldh.zks-uwh.imise.uni-leipzig.de/
 • MeDIZ.Rostock — https://ldh.mediz-rostock.imise.uni-leipzig.de/

Итого: один общий движок и очень разные роли — от общеевропейского реестра workflows до клинических LDH, где публикуют не столько сырые персональные данные, сколько FAIR-метаданные исследований, протоколы и связанные файлы.

#opendata #researchdata #datasets #datacatalogs

В реестре каталогов данных Dateno, с которым я вожусь вот уже долгое время, больше всего порталов с геоданными. Что, в общем-то, только подтверждает тезис о том что геоданные в мире повсюду, что их больше всего количественно, хотя объёмно среди них велики только данные спутниковых снимков.

К этому можно добавить и огромное разнообразие продуктов на которых геопорталы создаются. Некоторые из них, созданные на базе Geonetwork, GeoNode, ArcGIS Hub - это полноценные каталоги данных имеющие все необходимые характеристики такого каталога: наличие возможности выгрузки, документиированное API, определенные лицензии на использование и поддержку стандартов DCAT, Schema.org и других.

Другие геопорталы - это множество продуктов большого числа вендоров, часто охватывающих от нескольких до сотен геопорталов местного значения. Например, e-mapa.net в Польше, охватывающий более сотни муниципалитетов.

Сейчас в реестре 248 программных продуктов используемых для геопорталов, значительная часть из которых - это SaaS продукты, особенно для муниципалитетов у которых мало ресурсов на развертывание собственных инсталляций.

Надо сказать что всё это на фоне того что в мире геоданных безусловным лидером является Esri с их облачными продуктами ArcGIS, как корпоративными, так и ArcGIS Hub, который позиционируется не совсем как только про геоданные, но и про любые данные в принципе (хотя для остальных типов данных используется он нечасто).

Параллельно существует очень много ПО с открытым кодом для геопорталов, обычно реализующее OGC интерфейсы. Если Вы выбираете ПО для геопортала то в реестре есть отдельный раздел с описанием каждого и файл выгрузки software.jsonl в котором все они собраны. По моим наблюдениям, в 99% случаев можно воспользоваться GeoNode и Geonetwork, но есть и другие варианты.

Скорее всего число видов ПО для каталогов данных будет расти, потому что чем дальше тем больше находится самых разных продуктов.

#opendata #geodata #datacatalogs #dateno