hdf5- все статьи тега
Хранение иерархических данных в hdf5-как их структурировать
Мне нужно хранить иерархическую структуру данных в hdf5, где большинство конечных узлов не являются типами массивов (строки или скаляры), а некоторые из них являются однородными массивами. Эти данные выглядят примерно так: /simulation-20130312_13:33p1435 +- input | +- gravity = 9.81 | +- timeScale = 1.0 | +- userTitle = 'real' | +- flowRates = [ 1.1, 2.1 ] | +- material | +- density = 1234.2 | +- young = 1.123e6 | +- temp = 290.2 +- finished = '20 ...
Есть ли преимущество в скорости анализа или использовании памяти для использования HDF5 для хранения больших массивов (вместо плоских двоичных файлов)?
я обрабатываю большие 3D массивы, которые мне часто нужно нарезать различными способами для выполнения различных анализов данных. Типичный "куб" может быть ~100 ГБ (и, вероятно, станет больше в будущем) похоже, что типичным рекомендуемым форматом файлов для больших наборов данных в python является использование HDF5 (либо h5py, либо pytables). Мой вопрос: есть ли какая-либо скорость или использование памяти для использования HDF5 для хранения и анализа этих кубов над хранением их в простых плос ...