Хвостатый кодер
https://github.com/andrew-grechkin/fuse3-p7zip
OS: Ubuntu 23.10 x86_64
git clone --recursive https://github.com/andrew-grechkin/fuse3-p7zip.gitsudo apt-get install libfuse3-dev p7zipsudo make DESTDIR="$pkgdir" install -C "build-release"Ииии по итогу.
Что бы прочитать огромный xml файл (98GB) который обернут в 7z архив (20GB в формате сжатия B2zip)
вам надо снести заголовок 7z и начать скармливать это следущей проге
https://github.com/mxmlnkn/indexed_bzip2/tree/master/python/indexed_bzip2
Что бы прочитать огромный xml файл (98GB) который обернут в 7z архив (20GB в формате сжатия B2zip)
вам надо снести заголовок 7z и начать скармливать это следущей проге
https://github.com/mxmlnkn/indexed_bzip2/tree/master/python/indexed_bzip2
GitHub
indexed_bzip2/python/indexed_bzip2 at master · mxmlnkn/indexed_bzip2
Fast parallel random access to bzip2 and gzip files in Python - mxmlnkn/indexed_bzip2
Хвостатый кодер
Ииии по итогу. Что бы прочитать огромный xml файл (98GB) который обернут в 7z архив (20GB в формате сжатия B2zip) вам надо снести заголовок 7z и начать скармливать это следущей проге https://github.com/mxmlnkn/indexed_bzip2/tree/master/python/indexed_bzip2
class StepFileIO(io.FileIO):
def __init__(self, *args, **kwargs):
super(StepFileIO, self).__init__(*args, **kwargs)
def fileno(self) -> int:
return -1
def seek(self, __offset: int, __whence: int = ...) -> int:
return super().seek(__offset, __whence)
def __sizeof__(self):
return super().__sizeof__() - 32
def read(self, __size: int = ...) -> bytes:
self.seek(self.tell() + 32, 0)
__size -= 32
return super().read(__size)
Хвостатый кодер
class StepFileIO(io.FileIO): def __init__(self, *args, **kwargs): super(StepFileIO, self).__init__(*args, **kwargs) def fileno(self) -> int: return -1 def seek(self, __offset: int, __whence: int = ...) -> int: return …
Сие обертка по сути нужна тупо что бы пропустить 32 байта 7z и начать читать bzip2 сразу
причем почему то поисковики предлагали более тупые решения
P.S fileno = -1 потому что разраб либы очень хочет файловый дескриптор а я очень хочу что бы он читать файл из моего класса
причем почему то поисковики предлагали более тупые решения
P.S fileno = -1 потому что разраб либы очень хочет файловый дескриптор а я очень хочу что бы он читать файл из моего класса
Хвостатый кодер
class StepFileIO(io.FileIO): def __init__(self, *args, **kwargs): super(StepFileIO, self).__init__(*args, **kwargs) def fileno(self) -> int: return -1 def seek(self, __offset: int, __whence: int = ...) -> int: return …
И так, анекдот с либой продолжился.
Версия которая лежит в pip битая, или старая, но мой финт ушами давал 139 код ошибки от сишного когда
но при этом если собрать последую версию ручками то все работает
спасибо что @txlyre ,прочекал и мне написал
уменьшил кол-во плохих велоспедов с моей стороны
Версия которая лежит в pip битая, или старая, но мой финт ушами давал 139 код ошибки от сишного когда
но при этом если собрать последую версию ручками то все работает
спасибо что @txlyre ,прочекал и мне написал
уменьшил кол-во плохих велоспедов с моей стороны
Все ещё щизею по либе.
Поел говна немного от самого себя теперь ем говно от склахимии.
https://github.com/Taruu/StackExAR/blob/dev/app%2Futils%2Fapp_types.py#L77
Поел говна немного от самого себя теперь ем говно от склахимии.
https://github.com/Taruu/StackExAR/blob/dev/app%2Futils%2Fapp_types.py#L77