Сохранение больших панд dataframe в excel
Я создаю большой фрейм данных (1,5 ГБ при сохранении в формате CSV)и должен хранить его в виде листа файла Excel вместе со вторым (гораздо меньшим) фреймом данных, который сохраняется в отдельном листе.
print('Reading temporaty files for variable {}:'.format(Var))
print(' Reading stations')
s=pd.read_csv(StatFile,sep=':',dtype={'ID': 'str'},encoding='utf-8')
print(' Reading data')
d=pd.read_csv(DataFile,sep=':',dtype='str',encoding='utf-8').transpose()
d.columns = d.iloc[0]
d=d[1:].astype('float')
d.reindex_axis(sorted(d.columns), axis=1)
print('Writing out Excel file for variable {}'.format(Var))
writer = pd.ExcelWriter(Path + Var + '.xlsx', engine='xlsxwriter')
d.to_excel(writer, sheet_name='Data')
OutStatCol=['ID','Name','Longitude','Latitude','GRS','OriginalVariable','VariableUnits','URL','JsonNode']
s.to_excel(writer, columns=OutStatCol, index=False, sheet_name='Stations')
writer.save()
Мой код отлично работает для небольших фреймов данных, но с большими я получаю следующую ошибку:
Traceback (most recent call last):
File "./Test2.py", line 29, in <module>
writer.save()
File "/home/user/miniconda2/lib/python2.7/site-packages/pandas/io/excel.py", line 1413, in save
return self.book.close()
File "/home/user/miniconda2/lib/python2.7/site-packages/xlsxwriter/workbook.py", line 297, in close
self._store_workbook()
File "/home/user/miniconda2/lib/python2.7/site-packages/xlsxwriter/workbook.py", line 624, in _store_workbook
xlsx_file.write(os_filename, xml_filename)
File "/home/user/miniconda2/lib/python2.7/zipfile.py", line 1148, in write
self._writecheck(zinfo)
File "/home/user/miniconda2/lib/python2.7/zipfile.py", line 1114, in _writecheck
" would require ZIP64 extensions")
zipfile.LargeZipFile: Filesize would require ZIP64 extensions
Есть ли способ указать что-то вроде allowZip64=True в объявлении ExcelWriter или в методе to_excel ()?
Спасибо!
1 ответ:
Это потребовало некоторого копания кода соуса, но...
print('Reading temporaty files for variable {}:'.format(Var)) print(' Reading stations') s=pd.read_csv(StatFile,sep=':',dtype={'ID': 'str'},encoding='utf-8') print(' Reading data') d=pd.read_csv(DataFile,sep=':',dtype='str',encoding='utf-8').transpose() d.columns = d.iloc[0] d=d[1:].astype('float') d.reindex_axis(sorted(d.columns), axis=1) print('Writing out Excel file for variable {}'.format(Var)) writer = pd.ExcelWriter(Path + Var + '.xlsx', engine='xlsxwriter') #THIS writer.book.use_zip64() d.to_excel(writer, sheet_name='Data') OutStatCol=['ID','Name','Longitude','Latitude','GRS','OriginalVariable','VariableUnits','URL','JsonNode'] s.to_excel(writer, columns=OutStatCol, index=False, sheet_name='Stations') writer.save()Должно работать
Выяснение того, что писатель не унаследовал от книги, заняло у меня больше времени, чем следовало. писатель.книга-это непосредственно экземпляр книги... d'Oh
Comments