Как мне gzip сжать строку в Python?

Question

Как мне gzip сжать строку в Python?

gzip.GzipFile существует, но это для файловых объектов - как насчет простых строк?

610 5

python gzip compression

5 ответов:

Comments

Ничего не найдено.

score 0 · Accepted Answer · 2011-12-14 17:17:54

выберите подходящий модуль из http://docs.python.org/library/archiving.html -- либо gzip, либо zlib, в зависимости от ваших конкретных потребностей.

NPE · Accepted Answer · 2014-01-29 15:19:47

если вы хотите произвести полный gzip-совместимая двоичная строка, с заголовком и т. д., Вы можете использовать gzip.GzipFile вместе с StringIO:
import StringIO
import gzip
out = StringIO.StringIO()
with gzip.GzipFile(fileobj=out, mode="w") as f:
  f.write("This is mike number one, isn't this a lot of fun?")
out.getvalue()

# returns '\x1f\x8b\x08\x00\xbd\xbe\xe8N\x02\xff\x0b\xc9\xc8,V\x00\xa2\xdc\xcc\xecT\x85\xbc\xd2\xdc\xa4\xd4"\x85\xfc\xbcT\x1d\xa0X\x9ez\x89B\tH:Q!\'\xbfD!?M!\xad4\xcf\x1e\x00w\xd4\xea\xf41\x00\x00\x00'

Sven Marnach · Accepted Answer · 2014-07-09 04:51:19

самый простой способ-это zlibкодирование:
compressed_value = s.encode("zlib")
затем вы распаковываете его с помощью:
plain_string_again = compressed_value.decode("zlib")

Andrews Sobral · Accepted Answer · 2018-08-24 13:30:12

для тех, кто хочет сжать панд dataframe в формате JSON:

протестировано с Python 3.6 и панд 0.23

import sys
import zlib, lzma, bz2
import math

def convert_size(size_bytes):
    if size_bytes == 0:
        return "0B"
    size_name = ("B", "KB", "MB", "GB", "TB", "PB", "EB", "ZB", "YB")
    i = int(math.floor(math.log(size_bytes, 1024)))
    p = math.pow(1024, i)
    s = round(size_bytes / p, 2)
    return "%s %s" % (s, size_name[i])

dataframe = pd.read_csv('...') # your CSV file
dataframe_json = dataframe.to_json(orient='split')
data = dataframe_json.encode()
compressed_data = bz2.compress(data)
decompressed_data = bz2.decompress(compressed_data).decode()
dataframe_aux = pd.read_json(decompressed_data, orient='split')

#Original data size:  10982455 10.47 MB
#Encoded data size:  10982439 10.47 MB
#Compressed data size:  1276457 1.22 MB (lzma, slow), 2087131 1.99 MB (zlib, fast), 1410908 1.35 MB (bz2, fast)
#Decompressed data size:  10982455 10.47 MB
print('Original data size: ', sys.getsizeof(dataframe_json), convert_size(sys.getsizeof(dataframe_json)))
print('Encoded data size: ', sys.getsizeof(data), convert_size(sys.getsizeof(data)))
print('Compressed data size: ', sys.getsizeof(compressed_data), convert_size(sys.getsizeof(compressed_data)))
print('Decompressed data size: ', sys.getsizeof(decompressed_data), convert_size(sys.getsizeof(decompressed_data)))

print(dataframe.head())
print(dataframe_aux.head())

Smittles · Accepted Answer · 2013-06-07 15:07:03

s = "a long string of characters"

g = gzip.open('gzipfilename.gz', 'w', 5) # ('filename', 'read/write mode', compression level)
g.write(s)
g.close()