Второй Рунетсофт добавлен в Реестр недобросоветных поставщиков. Первый был добавлен в РНП в прошлом году из-за контракта на Портал открытых данных. Второй (совпадающий по адресу и учредителю) 17 сентября добавлен в РНП из-за контракта на техподдержку портала органов госвласти Севастополя. Только в этом году Рунетсофт заключил контракты на 70 млн руб. + контракты на 36 млн руб. остались неисполненными еще с прошлого года.
На сайте проекта "Госрасходы" теперь доступен модуль "Бюджет"!
Мы давно планировали обработку данных о федеральном бюджете и рассматривали несколько вариантов источников данных. Хотели использовать ежедневно обновляемые сводные бюджетные росписи, но они пока, к сожалению не очень корректные. Поэтому остановились на ежемесячных отчетах об исполнении федерального бюджета, публикуемых Казначейством России. Информацию из отчетов дополнили наборами данных бюджетной классификации, опубликованых Минфином России.
В процессе агрегирования информации и разработки базы данных мы выявили неполноту данных и некоторые серьезные и мелкие ошибки как в отчетах об исполнении бюджета, так и в открытых данных. Надеюсь, что эти наработки станут началом взаимодействия по качеству данных между финансовыми госорганами и СП РФ.
Первая версия модуля содержит данные о расходах федерального бюджета с 2016 года по текущий год, включая отчет на 1 августа 2021 года. Текущий функционал модуля позволяет:
- изучать расходы бюджета в разрезе разделов и подразделов, ГРБС (главных распорядителей бюджетных средств), госпрограмм и подпрограмм, нацпроектов и федпроектов;
- осуществлять поиск по КБК. Пока только по полному совпадению, но в следующих версиях мы его доработаем. Для каждого найденного в базе КБК доступны значения всех используемых классификаторов, а также все доступные в базе «строки бюджета» с информацией об исполнении бюджета по месяцам за последние 5 лет;
- упростить для граждан изучение расходов бюджета за счет предоставления во всех строках бюджета полной расшифровки КБК. Помимо этого мы «переработали» представление бюджета из иерархической «лесенки Минфина» до детализированных строк, что позволило нам сократить объем предоставляемой информации и упростить обработку данных для аналитиков и программистов;
- изучать утвержденные, исполненные и неисполненные расходы федерального бюджета. Из-за особенностей структуры отчетов Казначейства России мы предоставляем детализацию до групп, подгрупп и элементов расходов;
- ознакомиться с глоссарием и справочниками, используемыми в федеральном бюджете. При этом справочники, представленные на сайте проекта, не являются копией наборов данных Минфина России. Они дополнены, выверены и в некоторых случаях перепроверены вручную (можно даже сказать, что трудоемкость выверки справочников сопоставима с трудоемкостью разработки базы данных и веб-интерфейса).
Сейчас мы представили только первую версию, но уже обсуждаем и рассматриваем множество доработок и обновлений:
- опубликовать открытые данные, API и добавим возможность скачивать информацию со страниц сайта;
- продумываем добавление возможности изучать и сравнивать на сайте данные по месяцам и годам;
- провести вебинары по работе с модулем и записать скринкасты;
- дополнить раздел информацией о доходах бюджета и источниках финансирования дефицита бюджета;
- связать строки бюджета с контрактами и субсидиями;
- добавить годовые отчеты об исполнении федерального бюджета;
- и, конечно, запланировать на следующий год разработку модуля «Региональные бюджеты».
Хочу поблагодарить команду проекта, без интенсивной, талантливой и вдумчивой работы которой данный модуль (да и весь проект) не был бы разработан, Ивана Бегтина за участие в проектировании проекта и работу над ним даже после выхода из СП РФ и, конечно, СП РФ и Алексея Кудрина за то, что в 2021 году проект поддерживается и развивается, а открытые данные включены в повестку и стратегию СП РФ.
spending.gov.ru
Мы давно планировали обработку данных о федеральном бюджете и рассматривали несколько вариантов источников данных. Хотели использовать ежедневно обновляемые сводные бюджетные росписи, но они пока, к сожалению не очень корректные. Поэтому остановились на ежемесячных отчетах об исполнении федерального бюджета, публикуемых Казначейством России. Информацию из отчетов дополнили наборами данных бюджетной классификации, опубликованых Минфином России.
В процессе агрегирования информации и разработки базы данных мы выявили неполноту данных и некоторые серьезные и мелкие ошибки как в отчетах об исполнении бюджета, так и в открытых данных. Надеюсь, что эти наработки станут началом взаимодействия по качеству данных между финансовыми госорганами и СП РФ.
Первая версия модуля содержит данные о расходах федерального бюджета с 2016 года по текущий год, включая отчет на 1 августа 2021 года. Текущий функционал модуля позволяет:
- изучать расходы бюджета в разрезе разделов и подразделов, ГРБС (главных распорядителей бюджетных средств), госпрограмм и подпрограмм, нацпроектов и федпроектов;
- осуществлять поиск по КБК. Пока только по полному совпадению, но в следующих версиях мы его доработаем. Для каждого найденного в базе КБК доступны значения всех используемых классификаторов, а также все доступные в базе «строки бюджета» с информацией об исполнении бюджета по месяцам за последние 5 лет;
- упростить для граждан изучение расходов бюджета за счет предоставления во всех строках бюджета полной расшифровки КБК. Помимо этого мы «переработали» представление бюджета из иерархической «лесенки Минфина» до детализированных строк, что позволило нам сократить объем предоставляемой информации и упростить обработку данных для аналитиков и программистов;
- изучать утвержденные, исполненные и неисполненные расходы федерального бюджета. Из-за особенностей структуры отчетов Казначейства России мы предоставляем детализацию до групп, подгрупп и элементов расходов;
- ознакомиться с глоссарием и справочниками, используемыми в федеральном бюджете. При этом справочники, представленные на сайте проекта, не являются копией наборов данных Минфина России. Они дополнены, выверены и в некоторых случаях перепроверены вручную (можно даже сказать, что трудоемкость выверки справочников сопоставима с трудоемкостью разработки базы данных и веб-интерфейса).
Сейчас мы представили только первую версию, но уже обсуждаем и рассматриваем множество доработок и обновлений:
- опубликовать открытые данные, API и добавим возможность скачивать информацию со страниц сайта;
- продумываем добавление возможности изучать и сравнивать на сайте данные по месяцам и годам;
- провести вебинары по работе с модулем и записать скринкасты;
- дополнить раздел информацией о доходах бюджета и источниках финансирования дефицита бюджета;
- связать строки бюджета с контрактами и субсидиями;
- добавить годовые отчеты об исполнении федерального бюджета;
- и, конечно, запланировать на следующий год разработку модуля «Региональные бюджеты».
Хочу поблагодарить команду проекта, без интенсивной, талантливой и вдумчивой работы которой данный модуль (да и весь проект) не был бы разработан, Ивана Бегтина за участие в проектировании проекта и работу над ним даже после выхода из СП РФ и, конечно, СП РФ и Алексея Кудрина за то, что в 2021 году проект поддерживается и развивается, а открытые данные включены в повестку и стратегию СП РФ.
spending.gov.ru
Подробности о том, зачем мы в проекте "Госрасходы" разрабатывали модуль "Бюджет" и что планируем делать дальше, можно найти по ссылке: https://www.comnews.ru/content/216587/2021-09-24/2021-w38/gosraskhody-stanut-prozrachnee
ComNews
Госрасходы станут прозрачнее
На портале "Госрасходы" появился новый модуль, который агрегирует данные о расходах федерального бюджета Российской Федерации. Модуль "Бюджет" позволяет узнать, сколько денег запланировано на разные направления, государственные программы, нацпроекты и сколько…
Счетная палата РФ опубликовала заключения об исполнении федеральными госорганами ФЗ "О федеральном бюджете за 2020 год".
В отчетах можно найти сведения о численности госорганов и их подведов, сводную информацию о контрактах, сведения о счетах и кредитах и многое другое. Из таблиц отчетов получились бы вкусные наборы открытых данных. Жаль, отчеты по Минфину и Минэку не опубликованы - интересно было бы посмотреть, как в них упоминается отсутствие реестра субсидий, региональных и муниципальных данных о бюджетах и отсутствие развития портала открытых данных, ведь на все эти активности в прошлом году выделялись средства из федерального бюджета.
https://ach.gov.ru/audit/grbs-2020_ispolnenie
В отчетах можно найти сведения о численности госорганов и их подведов, сводную информацию о контрактах, сведения о счетах и кредитах и многое другое. Из таблиц отчетов получились бы вкусные наборы открытых данных. Жаль, отчеты по Минфину и Минэку не опубликованы - интересно было бы посмотреть, как в них упоминается отсутствие реестра субсидий, региональных и муниципальных данных о бюджетах и отсутствие развития портала открытых данных, ведь на все эти активности в прошлом году выделялись средства из федерального бюджета.
https://ach.gov.ru/audit/grbs-2020_ispolnenie
В TAdviser вышло интервью Александра Албычева, зам. руководителя Федерального казначейства (ФК), об импортозамещении, ИТ-бюджете Казначейства России и фокусировке на данных.
В интервью подробно рассказывается кейсы о переходе Казначействе России на удаленку, сборе данных о "ковидных" выплатах врачам, и, конечно, о переходе ГИИС "Электронный бюджет" на отечественное ПО (контракт на поддержку импортного ПО на данный момент составляет около 75 млн руб. в год, примерно 10% от стоимости годового владения системой).
https://www.tadviser.ru/index.php/Статья:Интервью_TAdviser:_Александр_Албычев,_Федеральное_казначейство
В интервью подробно рассказывается кейсы о переходе Казначействе России на удаленку, сборе данных о "ковидных" выплатах врачам, и, конечно, о переходе ГИИС "Электронный бюджет" на отечественное ПО (контракт на поддержку импортного ПО на данный момент составляет около 75 млн руб. в год, примерно 10% от стоимости годового владения системой).
https://www.tadviser.ru/index.php/Статья:Интервью_TAdviser:_Александр_Албычев,_Федеральное_казначейство
TAdviser.ru
Александр Албычев, Казначейство – о преодолении зависимости от Oracle и Microsoft, динамике ИТ-бюджета и фокусировке на данных
Казначейство России практически справилось с многолетней зависимостью от иностранных производителей программных продуктов, начав миграцию ключевых систем на отечественный стек решений. Новый вызов – обеспечить Правительство Российской Федерации решениями…
Минфин России опубликовал Проект федерального бюджета на 2022 год и удалил Закон о бюджете на 2019 год
Интересно, а можно ли опубликовать проект бюджета на новый год, не удаляя данные о предыдущих? Проект ФЗ О федеральном бюджете на 2022 год появился на портале Электронного бюджета (размещение на портале ЕПБС является официальным способом внесения Проекта в Госдуму). Одновременно с этим с портала исчез Закон о бюджете на 2019 год.
Ранее с портала ЕПБС были удалены все Проекты о внесении изменений, а также Законы о внесении изменений в федеральный бюджет за все годы. Бюджеты внебюджетных фондов также сейчас недоступны.
На портале нет мониторинга доступности опубликованных данных, поэтому обо всех подобных случаях мы узнаем только из-за ежедневного использования этих данных. После таких новостей нельзя в очередной раз не задуматься о цифровой архивации. Публикация информации в текущем виде приводит к отсутствию возможности скачать бюджет целиком (в виде архива), о необходимости которой мы говорим с 2012 г.
Интересно, а можно ли опубликовать проект бюджета на новый год, не удаляя данные о предыдущих? Проект ФЗ О федеральном бюджете на 2022 год появился на портале Электронного бюджета (размещение на портале ЕПБС является официальным способом внесения Проекта в Госдуму). Одновременно с этим с портала исчез Закон о бюджете на 2019 год.
Ранее с портала ЕПБС были удалены все Проекты о внесении изменений, а также Законы о внесении изменений в федеральный бюджет за все годы. Бюджеты внебюджетных фондов также сейчас недоступны.
На портале нет мониторинга доступности опубликованных данных, поэтому обо всех подобных случаях мы узнаем только из-за ежедневного использования этих данных. После таких новостей нельзя в очередной раз не задуматься о цифровой архивации. Публикация информации в текущем виде приводит к отсутствию возможности скачать бюджет целиком (в виде архива), о необходимости которой мы говорим с 2012 г.
В Проекте федерального бюджета на 2022 год на портале ЕПБС доступно в два раза меньше Приложений, чем в бюджете 2021 года. Если в 2021 году было доступно 25 Приложений из 39, то в 2022 опубликовано только 13 из 38. Не опубликована даже ведомственная структура расходов бюджета.
Приложения с 9 по 25 не размещены. Именно в этих приложениях в 2021 году можно было найти:
- Ведомственную структуру расходов бюджета;
- распределение бюджетных средств на публичные нормативные обязательства РФ;
- распределение бюджетных ассигнований по разделам, подразделам, ЦСР, группам видов расходов;
- распределение бюджетных средств по ЦСР;
- распределение бюджетных ассигнований на реализацию федеральных целевых программ;
- распределение бюджетных ассигнований на предоставление субсидий госкорпорациям;
- и многое другое.
Получается, на портале Электронного бюджета опубликован (а в ГосДуму внесен) Проект бюджета, не содержащий сведений о расходах бюджета!
Приложения с 9 по 25 не размещены. Именно в этих приложениях в 2021 году можно было найти:
- Ведомственную структуру расходов бюджета;
- распределение бюджетных средств на публичные нормативные обязательства РФ;
- распределение бюджетных ассигнований по разделам, подразделам, ЦСР, группам видов расходов;
- распределение бюджетных средств по ЦСР;
- распределение бюджетных ассигнований на реализацию федеральных целевых программ;
- распределение бюджетных ассигнований на предоставление субсидий госкорпорациям;
- и многое другое.
Получается, на портале Электронного бюджета опубликован (а в ГосДуму внесен) Проект бюджета, не содержащий сведений о расходах бюджета!
Для тех, кто пишет про доступность приложений на SOZD:
Вот уже несколько лет в Бюджетном кодексе существует статья 192, в соответствии с которой "документы и материалы, представляемые одновременно с проектом федерального закона о федеральном бюджете, внесены в Государственную Думу Федерального Собрания Российской Федерации в электронном виде путём размещения указанных документов и материалов на едином портале бюджетной системы Российской Федерации в информационно-телекоммуникационной сети «Интернет»".
Также портал Электронного бюджета 30.09.21 сообщает, что "Просмотреть проект федерального закона о федеральном бюджете на 2022 год и плановый период 2023 и 2024 годов, а также документы и материалы, представляемые одновременно с законопроектом, можно на едином портале в разделе "Бюджет", рубрика "Закон о бюджете"."
О том, что доступно в рубрике "Закон о бюджете", написано в предыдущем посте.
Не забывайте, что на Электронный бюджет ежегодно тратится 700+ млн руб., а общая сумма, потраченная на него, стремится к 17 млрд. руб. Поэтому граждане имеют право получать "машиночитаемые" данные о проекте федерального бюджета, предусмотренные Бюджетным кодексом, на портале ЕПБС.
Пруфы: http://budget.gov.ru/epbs/faces/p/Новости?_adf.ctrl-state=lrv73xve1_61®ionId=45
Вот уже несколько лет в Бюджетном кодексе существует статья 192, в соответствии с которой "документы и материалы, представляемые одновременно с проектом федерального закона о федеральном бюджете, внесены в Государственную Думу Федерального Собрания Российской Федерации в электронном виде путём размещения указанных документов и материалов на едином портале бюджетной системы Российской Федерации в информационно-телекоммуникационной сети «Интернет»".
Также портал Электронного бюджета 30.09.21 сообщает, что "Просмотреть проект федерального закона о федеральном бюджете на 2022 год и плановый период 2023 и 2024 годов, а также документы и материалы, представляемые одновременно с законопроектом, можно на едином портале в разделе "Бюджет", рубрика "Закон о бюджете"."
О том, что доступно в рубрике "Закон о бюджете", написано в предыдущем посте.
Не забывайте, что на Электронный бюджет ежегодно тратится 700+ млн руб., а общая сумма, потраченная на него, стремится к 17 млрд. руб. Поэтому граждане имеют право получать "машиночитаемые" данные о проекте федерального бюджета, предусмотренные Бюджетным кодексом, на портале ЕПБС.
Пруфы: http://budget.gov.ru/epbs/faces/p/Новости?_adf.ctrl-state=lrv73xve1_61®ionId=45
Подробный пост Ивана Бегтина о текущей ситуации с федеральным порталом открытых данных и причинами, по которым открытые данные в России не развиваются ⬇️
Forwarded from Ivan Begtin (Ivan Begtin)
Почему российский портал открытых данных не развивается уже несколько лет, данные не публикуются, а эти компетенции находятся в Минэкономразвития РФ в глубоком кризисе?
Специально для тех, кто следит за тематикой открытых данных: Минэкономразвития РФ заключило второе доп. соглашение к контракту на портал открытых данных. На этот раз изменили код вида расходов. Контракт заключен в ноябре прошлого года. Единственное, что доступно по контракту в ЕИС - доп. соглашение от конца августа на исключение из контракта хакатона, который поставщик должен был провести еще в декабре прошлого года. Можно ли вообще задним числом отменять работы, которые должны были быть проведены полгода назад? Вообще заказчик должен был отправить поставщика в РНП, а заодно уведомить следственные органы.
Моя коллега Ольга Пархимович (@ahminfin) писала об этом серию постов [1] [2] [3] [4], которые в кратком изложении звучат так, что подрядчик в лице Рунетсофта не выполнил множество работ по порталу откртыых данных, а Минэкономразвития не рискнули отправлять его в реестр недобросовестных поставщиков.
Никакого движения по контракту [5] кроме доп. соглашений не наблюдается - этапы не приняты, штрафы не выставлены, непонятно зачем вообще юристы Минэкономразвития существуют. За это время Рунетсофт успели внести в Реестр недобросовестных поставщиков, но не из-за контракта на портал открытых данных. А ведь если бы поставщика внесли в РНП сразу, когда первый этап контракта был не исполнен, то не было бы новых контрактов на несколько десятков миллионов рублей, которые в этом году Рунетсофт заключил с несколькими поставщиками, в том числе и с тем же Минэком.
Напомню, что только на техподдержку, консультационное и информационное сопровождение в контракте выделено несколько миллионов. При этом запрос на портал от декабря прошлого года одобряли 2 месяца вместо нескольких рабочих дней, а взяли в работу только в июле. То есть, на протяжении 7 месяцев консультационные/информационные работы не проводились.
Честно говоря, состояние федерального портала открытых данных и так удручающее, представители Минэкономразвития ещё и пытаются рассказывать об оценках открытости данных в регионах и ФОИВах, но при текущем состоянии собственных дел в их епархии, верить оценкам органа власти, не способного выстроить собственную работу с данными и провалившего работу с порталом открытых данных, невозможно.
А я напомню, что несколько раз писал о том, как внутри Минэкономразвития России работают с данными [6], о том как они создавали реестр СО НКО с кучей ошибок [6] и реестр системообразующих предприятий [7] ничуть не лучше.
Всё это редкостный позор, если честно. А бездействие Минэкономразвития по порталу открытых данных можно объяснить тем, что вся эта тема сошла с ключевой повестки правительства, превратившись в фрагментированные инициативы. Но потраченные деньги на портал открытых данных и итоговые результаты объяснить куда сложнее.
Ссылки:
[1] https://xn--r1a.website/ahminfin/293
[2] https://xn--r1a.website/ahminfin/294
[3] https://xn--r1a.website/ahminfin/301
[4] https://xn--r1a.website/ahminfin/407
[5] https://zakupki.gov.ru/epz/contract/contractCard/common-info.html?reestrNumber=1771034949420000075
[6] https://www.rbc.ru/opinions/society/17/06/2020/5ee8ce139a79479edce77585
[7] https://xn--r1a.website/begtin/1880
#opendata #opengov
Специально для тех, кто следит за тематикой открытых данных: Минэкономразвития РФ заключило второе доп. соглашение к контракту на портал открытых данных. На этот раз изменили код вида расходов. Контракт заключен в ноябре прошлого года. Единственное, что доступно по контракту в ЕИС - доп. соглашение от конца августа на исключение из контракта хакатона, который поставщик должен был провести еще в декабре прошлого года. Можно ли вообще задним числом отменять работы, которые должны были быть проведены полгода назад? Вообще заказчик должен был отправить поставщика в РНП, а заодно уведомить следственные органы.
Моя коллега Ольга Пархимович (@ahminfin) писала об этом серию постов [1] [2] [3] [4], которые в кратком изложении звучат так, что подрядчик в лице Рунетсофта не выполнил множество работ по порталу откртыых данных, а Минэкономразвития не рискнули отправлять его в реестр недобросовестных поставщиков.
Никакого движения по контракту [5] кроме доп. соглашений не наблюдается - этапы не приняты, штрафы не выставлены, непонятно зачем вообще юристы Минэкономразвития существуют. За это время Рунетсофт успели внести в Реестр недобросовестных поставщиков, но не из-за контракта на портал открытых данных. А ведь если бы поставщика внесли в РНП сразу, когда первый этап контракта был не исполнен, то не было бы новых контрактов на несколько десятков миллионов рублей, которые в этом году Рунетсофт заключил с несколькими поставщиками, в том числе и с тем же Минэком.
Напомню, что только на техподдержку, консультационное и информационное сопровождение в контракте выделено несколько миллионов. При этом запрос на портал от декабря прошлого года одобряли 2 месяца вместо нескольких рабочих дней, а взяли в работу только в июле. То есть, на протяжении 7 месяцев консультационные/информационные работы не проводились.
Честно говоря, состояние федерального портала открытых данных и так удручающее, представители Минэкономразвития ещё и пытаются рассказывать об оценках открытости данных в регионах и ФОИВах, но при текущем состоянии собственных дел в их епархии, верить оценкам органа власти, не способного выстроить собственную работу с данными и провалившего работу с порталом открытых данных, невозможно.
А я напомню, что несколько раз писал о том, как внутри Минэкономразвития России работают с данными [6], о том как они создавали реестр СО НКО с кучей ошибок [6] и реестр системообразующих предприятий [7] ничуть не лучше.
Всё это редкостный позор, если честно. А бездействие Минэкономразвития по порталу открытых данных можно объяснить тем, что вся эта тема сошла с ключевой повестки правительства, превратившись в фрагментированные инициативы. Но потраченные деньги на портал открытых данных и итоговые результаты объяснить куда сложнее.
Ссылки:
[1] https://xn--r1a.website/ahminfin/293
[2] https://xn--r1a.website/ahminfin/294
[3] https://xn--r1a.website/ahminfin/301
[4] https://xn--r1a.website/ahminfin/407
[5] https://zakupki.gov.ru/epz/contract/contractCard/common-info.html?reestrNumber=1771034949420000075
[6] https://www.rbc.ru/opinions/society/17/06/2020/5ee8ce139a79479edce77585
[7] https://xn--r1a.website/begtin/1880
#opendata #opengov
Telegram
Ах, этот Минфин
С ощущением дежавю пишу, что тендер Минэка на разработку портала data.gov.ru и АИС «Мониторинг госсайтов» выиграл ООО «Рунетсофт». Напомню, что прошлогодний контракт на разработку портала был также заключен с компанией ООО «Рунетсофт», затем контракт был…
Понимаю, конечно, про распределение полномочий и наличие оператора портала ЕПБС, но перенаправление Минфином России (главным финансовым госорганом страны) вопроса об отсутствии на портале Электронного бюджета (главный финансовый портал страны) изменений федерального бюджета (главного финансового документа) в другой госорган все равно выглядит странным.
И на 99% уверена, что аналогичный запрос в Федеральное казначейство был бы перенаправлен в Минфин )).
И на 99% уверена, что аналогичный запрос в Федеральное казначейство был бы перенаправлен в Минфин )).
Уже завтра пройдёт конференция Ассоциации участников рынка данных «Региональные данные» (regiondata.aurd.ru), на которой обсудим, как региональные госорганы публикуют открытые данные. Расскажу об открытости и недоступности региональных финансовых (бюджетных) данных, а также о планах по разработке модуля «Региональные бюджеты» в проекте «Госрасходы» в 2022 году. Конференция online, регистрация бесплатная.
Казначейство России закончило публикацию приложений Проекта бюджета на 2022 год. Теперь опубликованы все открытые приложения.
Закон о бюджете на 2019 год пока не восстановлен - "Период: 2019 год" отображается в меню, но внутри данных нет.
Законы об изменении бюджета и проекты законов об изменении бюджета также пока не восстановлены.
Подробнее об этом поговрим сегодня в 12:45 на конференции "Региональные данные": https://www.youtube.com/watch?v=7Shi9qcfsn4
Закон о бюджете на 2019 год пока не восстановлен - "Период: 2019 год" отображается в меню, но внутри данных нет.
Законы об изменении бюджета и проекты законов об изменении бюджета также пока не восстановлены.
Подробнее об этом поговрим сегодня в 12:45 на конференции "Региональные данные": https://www.youtube.com/watch?v=7Shi9qcfsn4
Наталия Лукьянова (начальник отдела по обеспечению открытости бюджета Комитета финансов Санкт-Петербурга) выступила с интересной презентацией на конференции "Региональные данные" об Открытом бюджете Санкт-Петербурга.
Не могу не отметить слайд с Бюджетом для граждан Санкт-Петербурга 1993 года. Публикация Бюджета для граждан, как и говорится в цитате А.Л. Кудрина, действительно спустя почти 30 лет превратилась в "добрую традицию города и конструктивный диалог между всеми заинтересованными лицами", который начался в 1993 году и продолжается до сих пор. С сохранением и публикацией полного архива всех буклетов.
Не могу не отметить слайд с Бюджетом для граждан Санкт-Петербурга 1993 года. Публикация Бюджета для граждан, как и говорится в цитате А.Л. Кудрина, действительно спустя почти 30 лет превратилась в "добрую традицию города и конструктивный диалог между всеми заинтересованными лицами", который начался в 1993 году и продолжается до сих пор. С сохранением и публикацией полного архива всех буклетов.
❗️ Модуль "Национальные проекты" скрыли с портала Электронного бюджета: теперь его нет ни в основном меню, ни в карте сайта.
Непонятно, что бы это могло значить, т.к. только в сентябре прошлого года заключили контракт почти на 1 млрд руб. со сроком исполнения - декабрь 2021 года. Примечательно, что этот контракт на сопровождение подсистемы, а не на разработку.
Непонятно, что бы это могло значить, т.к. только в сентябре прошлого года заключили контракт почти на 1 млрд руб. со сроком исполнения - декабрь 2021 года. Примечательно, что этот контракт на сопровождение подсистемы, а не на разработку.
К сожалению, качество открытых данных Росстата действительно оставляет желать лучшего и не повышается, как и привычка Росстата продавать данные в том числе и госорганам - муниципалитеты и субъекты РФ вынуждены покупать информацию по статистическим показателям.
Два года назад на конференции по цифровизации Росстата говорилось: "Росстат данные не продает, мы бесплатно отдаем все, что можем по закону". Но что делать с госконтрактами на продажу данных, которые мы находим? На налоги граждан госорганы покупают друг у друга государственные данные.
Альтернативные данные должны быть в безальтернативном использовании Росстатом" (с) Иван Бегтин ⬇️
Два года назад на конференции по цифровизации Росстата говорилось: "Росстат данные не продает, мы бесплатно отдаем все, что можем по закону". Но что делать с госконтрактами на продажу данных, которые мы находим? На налоги граждан госорганы покупают друг у друга государственные данные.
Альтернативные данные должны быть в безальтернативном использовании Росстатом" (с) Иван Бегтин ⬇️
Forwarded from Ivan Begtin (Ivan Begtin)
Я сейчас гружу в APICrafter кучу данных с сайта Росстата [1] в раздел "Статистика" [2] и чуть позже сделаем официальный пост от проекта с тем сколько новых наборов данных появилось, а пока скажу вам друзья что всё что мы слышали или слышим про качество работы с открытыми данными у Росстата - это сказки.
Чтобы было понятно:
- с сайта Росстата скачано 1547 наборов данных
- у 742 наборов однотипная структура из CSV файлов с полями: area,gender,urban,value (все их можно было опубликовать как один набор данных)
- ещё 617 наборов данных это однотипные показатели в формате SDMX без документации, также их можно было опубликовать как один набор данных
- надо ли объяснять что это получается куча мелких файлов, эдакое "необоснованное дробление данных" (c) ради числа наборов данных
- половина данных опубликовано как CSV, другая половина как XML. Файлы CSV имеют ту особенность что половина с разделителем запятой (,), половина с разделителем (;).
- у 20 наборов данных у файлов CSV отсутствуют заголовки
- итого, если делать всё по уму, то у Росстата на сайте было бы всего 188 наборов данных. А если ещё объединить в один датасет вакансии всех террорганов Росстата то и всего то около 103-105 наборов данных. Чувствуете разницу?
- некоторые из наборов данных имеют расширение csv, а внутри это zip файлы. А иногда это zip файлы внутри которых файлы csv которые... на самом деле не csv, а тоже zip файлы
- около 30% опубликованных CSV файлов в кодировке windows-1251, остальные в UTF-8, нигде при этом не указано что в каком виде.
- несколько наборов данных XML - это дампы показателей из внутренней BI системы. Без документации.
В итоге пришлось дорабатывать код подготовки пакетов данных для автоматического распознавания кодировки, разделителей и выявления CSV файлов без заголовков. Это не так уж сложно, но окунаться в ад работы с плохоформатированными CSV файлами - это то ещё удовольствие.
А в качестве послесловия я добавлю что это ещё далеко не самый худший ФОИВ по опубликованию данных. Да, много где ситуация сильно хуже, но Росстат тоже, умеет удивлять отсутствием управления данными и таким вот дроблением датасетов на кучу мелких наборов данных.
Как бы то ни было, все они будут у нас в каталоге сегодня уже к концу дня. И, похоже, вводить критерии качества каталогов данных важно не меньше качества содержания наборов данных.
Ссылки:
[1] https://rosstat.gov.ru/opendata
[2] https://data.apicrafter.ru/topics/statistics
#opendata #datasets
Чтобы было понятно:
- с сайта Росстата скачано 1547 наборов данных
- у 742 наборов однотипная структура из CSV файлов с полями: area,gender,urban,value (все их можно было опубликовать как один набор данных)
- ещё 617 наборов данных это однотипные показатели в формате SDMX без документации, также их можно было опубликовать как один набор данных
- надо ли объяснять что это получается куча мелких файлов, эдакое "необоснованное дробление данных" (c) ради числа наборов данных
- половина данных опубликовано как CSV, другая половина как XML. Файлы CSV имеют ту особенность что половина с разделителем запятой (,), половина с разделителем (;).
- у 20 наборов данных у файлов CSV отсутствуют заголовки
- итого, если делать всё по уму, то у Росстата на сайте было бы всего 188 наборов данных. А если ещё объединить в один датасет вакансии всех террорганов Росстата то и всего то около 103-105 наборов данных. Чувствуете разницу?
- некоторые из наборов данных имеют расширение csv, а внутри это zip файлы. А иногда это zip файлы внутри которых файлы csv которые... на самом деле не csv, а тоже zip файлы
- около 30% опубликованных CSV файлов в кодировке windows-1251, остальные в UTF-8, нигде при этом не указано что в каком виде.
- несколько наборов данных XML - это дампы показателей из внутренней BI системы. Без документации.
В итоге пришлось дорабатывать код подготовки пакетов данных для автоматического распознавания кодировки, разделителей и выявления CSV файлов без заголовков. Это не так уж сложно, но окунаться в ад работы с плохоформатированными CSV файлами - это то ещё удовольствие.
А в качестве послесловия я добавлю что это ещё далеко не самый худший ФОИВ по опубликованию данных. Да, много где ситуация сильно хуже, но Росстат тоже, умеет удивлять отсутствием управления данными и таким вот дроблением датасетов на кучу мелких наборов данных.
Как бы то ни было, все они будут у нас в каталоге сегодня уже к концу дня. И, похоже, вводить критерии качества каталогов данных важно не меньше качества содержания наборов данных.
Ссылки:
[1] https://rosstat.gov.ru/opendata
[2] https://data.apicrafter.ru/topics/statistics
#opendata #datasets
rosstat.gov.ru
Росстат — Открытые данные
За 14,5 млн рублей из областного бюджета ГКУ МО "Финансово-аналитический центр" закупает у Мосстата (территориальное подразделение Росстата) "Оказание услуг по предоставлению статистической информации для органов государственной власти Московской области, государственных органов Московской области на 2021 год".
Регион тратит областной бюджет на покупку того, что производится за средства федерального бюджета (или того же регионального бюджета). И это только один пример на региональном уровне, а сколько еще на муниципальном...
Регион тратит областной бюджет на покупку того, что производится за средства федерального бюджета (или того же регионального бюджета). И это только один пример на региональном уровне, а сколько еще на муниципальном...
Недоступен Портал открытых данных, оператором которого является Минэкономразвития. По информации техподдержки "он слёг".
Напомню, что на поддержку и развитие Портала открытых данных и Мониторинга госсайтов в 2021 году выделено 35 млн руб.
Подрядчик "Рунетсофт" недавно был внесен в реестр недобросовестных поставщиков (как и одноименный предыдущий подрядчик в прошлом году).
Контракт закончится в конце ноября, но никаких следов его исполнения в открытом доступе нет - ни на портале госзакупок, ни в функционале сайта.
Напомню, что на поддержку и развитие Портала открытых данных и Мониторинга госсайтов в 2021 году выделено 35 млн руб.
Подрядчик "Рунетсофт" недавно был внесен в реестр недобросовестных поставщиков (как и одноименный предыдущий подрядчик в прошлом году).
Контракт закончится в конце ноября, но никаких следов его исполнения в открытом доступе нет - ни на портале госзакупок, ни в функционале сайта.
"На открытые данные при разработке НСУД мы не замахиваемся" (с) С. Сергиенко, Минцифры.
Открытости на повестке Минцифры нет.
Открытости на повестке Минцифры нет.