Сохранение объекта (сохраняемость данных)

Я создал такой объект:



company1.name = 'banana' 

company1.value = 40


Я хотел бы сохранить этот объект. Как я могу это сделать?

656   3  

3 ответов:

вы могли бы использовать pickle модуль в стандартной библиотеке. Вот элементарное применение его к вашему примеру:

import pickle

class Company(object):
    def __init__(self, name, value):
        self.name = name
        self.value = value

with open('company_data.pkl', 'wb') as output:
    company1 = Company('banana', 40)
    pickle.dump(company1, output, pickle.HIGHEST_PROTOCOL)

    company2 = Company('spam', 42)
    pickle.dump(company2, output, pickle.HIGHEST_PROTOCOL)

del company1
del company2

with open('company_data.pkl', 'rb') as input:
    company1 = pickle.load(input)
    print(company1.name)  # -> banana
    print(company1.value)  # -> 40

    company2 = pickle.load(input)
    print(company2.name) # -> spam
    print(company2.value)  # -> 42

вы также можете написать простую утилиту, такую как следующая, которая открывает файл и записывает в него один объект:

def save_object(obj, filename):
    with open(filename, 'wb') as output:  # Overwrites any existing file.
        pickle.dump(obj, output, pickle.HIGHEST_PROTOCOL)

# sample usage
save_object(company1, 'company1.pkl')

обновление:

поскольку это такой популярный ответ, я хотел бы коснуться нескольких слегка продвинутых тем использования.

cPickle (или _pickle) vs pickle

это почти всегда предпочтительнее на самом деле использовать cPickle модуль, а не pickle потому что первый написан на C и намного быстрее. Есть некоторые тонкие различия между ними, но в большинстве случаев они эквивалентны и версия C обеспечит очень высокую производительность. Переключение на него не может быть проще, просто измените import заявление на это:

import cPickle as pickle

В Python 3, cPickle была переименована в _pickle, но это уже не необходимо, так как pickle модуль, теперь делает это автоматически-см. какая разница между pickle и _pickle в python 3?.

краткое изложение вы могли бы использовать что-то вроде следующего, чтобы убедиться, что ваш код будет всегда используйте версию C, когда она доступна как в Python 2, так и в 3:

try:
    import cPickle as pickle
except ModuleNotFoundError:
    import pickle

форматы потока данных (протоколы)

pickle смогите прочитать и написать файлы в нескольких различных, Специфичные для Python форматы, называемые протоколы. "Версия протокола 0 "-это ASCII и, следовательно,"читаемый человеком". Версии > 1 являются двоичными, и самый высокий из них зависит от того, какая версия Python используется. Значение по умолчанию зависит от версии Python. В Python 2 по умолчанию была версия протокола 0, но в Python 3.6, это версия протокола 3. В Python 3.x модуль имел pickle.DEFAULT_PROTOCOL добавлено к нему, но это не существует в Python 2.

к счастью, есть стенография для написания pickle.HIGHEST_PROTOCOL в каждом вызове (предполагая, что это то, что вы хотите, и вы обычно делаете)-просто используйте буквенное число -1. Итак, вместо того, чтобы писать:

pickle.dump(obj, output, pickle.HIGHEST_PROTOCOL)

вы можете просто написать:

pickle.dump(obj, output, -1)

в любом случае, вы бы только указать протокол один раз, если вы создали Pickler объект для использования в нескольких операциях рассол:

pickler = pickle.Pickler(output, -1)
pickler.dump(obj1)
pickler.dump(obj2)
   etc...

Несколько Объектов

в то время как файл рассола можете содержат любое количество маринованных объектов, как показано в приведенных выше примерах, когда их неизвестное количество, часто проще хранить их все в каком-то контейнере переменного размера, например list,tuple или dict и записать их все в файл одним вызовом:

tech_companies = [
    Company('Apple', 114.18), Company('Google', 908.60), Company('Microsoft', 69.18)
]
save_object(tech_companies, 'tech_companies.pkl')

и восстановить список и все в этом позже с:

with open('tech_companies.pkl', 'rb') as input:
    tech_companies = pickle.load(input)

главное преимущество заключается в том, что вам не нужно знать, сколько экземпляров объектов сохраняются чтобы загрузить их позже (хотя делать это без этой информации и возможно, для этого требуется немного специализированный код). Смотрите ответы на соответствующий вопрос сохранение и загрузка нескольких объектов в файл огурчик? подробнее о различных способах сделать это. Лично я как @Lutz Prechelt's ответ лучшие. Вот он адаптирован к примерам здесь:

class Company:
    def __init__(self, name, value):
        self.name = name
        self.value = value

def pickled_items(filename):
    """ Unpickle a file of pickled data. """
    with open(filename, "rb") as f:
        while True:
            try:
                yield pickle.load(f)
            except EOFError:
                break

print('Companies in pickle file:')
for company in pickled_items('company_data.pkl'):
    print('  name: {}, value: {}'.format(company.name, company.value))
324  
2018-05-21 15:27:19

я думаю, что это довольно сильное предположение, чтобы предположить, что объект является class. Что, если это не class? Есть также предположение, что объект не был определен в переводчик. Что делать, если он был определен в интерпретаторе? Кроме того, что делать, если атрибуты были добавлены динамически? Когда некоторые объекты Python имеют атрибуты, добавленные к их __dict__ после создания, pickle не уважает добавление этих атрибутов (т. е. он "забывает", что они были добавлены - потому что pickle сериализует по ссылке на определение объекта).

во всех этих случаях pickle и cPickle может подвести вас ужасно.

если вы хотите сохранить object (произвольно созданный), где у вас есть атрибуты (либо добавленные в определение объекта, либо позже)... лучше всего использовать dill, который может сериализовать почти все в python.

начнем с класса...

Python 2.7.8 (default, Jul 13 2014, 02:29:54) 
[GCC 4.2.1 Compatible Apple Clang 4.1 ((tags/Apple/clang-421.11.66))] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import pickle
>>> class Company:
...     pass
... 
>>> company1 = Company()
>>> company1.name = 'banana'
>>> company1.value = 40
>>> with open('company.pkl', 'wb') as f:
...     pickle.dump(company1, f, pickle.HIGHEST_PROTOCOL)
... 
>>>

теперь закрыли, и перезапуск...

Python 2.7.8 (default, Jul 13 2014, 02:29:54) 
[GCC 4.2.1 Compatible Apple Clang 4.1 ((tags/Apple/clang-421.11.66))] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import pickle
>>> with open('company.pkl', 'rb') as f:
...     company1 = pickle.load(f)
... 
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
  File "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 1378, in load
    return Unpickler(file).load()
  File "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 858, in load
dispatch[key](self)
  File "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 1090, in load_global
    klass = self.find_class(module, name)
  File "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 1126, in find_class
    klass = getattr(mod, name)
AttributeError: 'module' object has no attribute 'Company'
>>>

Упс... pickle не могу с этим справиться. Давайте попробуем dill. Мы добавим другой тип объекта (a lambda) для хорошей мерой.

Python 2.7.8 (default, Jul 13 2014, 02:29:54) 
[GCC 4.2.1 Compatible Apple Clang 4.1 ((tags/Apple/clang-421.11.66))] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import dill       
>>> class Company:
...     pass
... 
>>> company1 = Company()
>>> company1.name = 'banana'
>>> company1.value = 40
>>> 
>>> company2 = lambda x:x
>>> company2.name = 'rhubarb'
>>> company2.value = 42
>>> 
>>> with open('company_dill.pkl', 'wb') as f:
...     dill.dump(company1, f)
...     dill.dump(company2, f)
... 
>>>

а теперь прочтите файл.

Python 2.7.8 (default, Jul 13 2014, 02:29:54) 
[GCC 4.2.1 Compatible Apple Clang 4.1 ((tags/Apple/clang-421.11.66))] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import dill
>>> with open('company_dill.pkl', 'rb') as f:
...     company1 = dill.load(f)
...     company2 = dill.load(f)
... 
>>> company1 
<__main__.Company instance at 0x107909128>
>>> company1.name
'banana'
>>> company1.value
40
>>> company2.name
'rhubarb'
>>> company2.value
42
>>>

это работает. Причина pickle не и dill не, это dill относится к __main__ как модуль (по большей части), а также может мариновать определения классов вместо маринования по ссылке (например pickle делает). Причина dill можно солить а lambda это то, что он дает ему имя... тогда маринование магии может произойти.

на самом деле, есть более простой способ сохранить все эти объекты, особенно если у вас есть много объектов, которые вы создали. Просто сбросьте всю сессию python и вернитесь к ней позже.

Python 2.7.8 (default, Jul 13 2014, 02:29:54) 
[GCC 4.2.1 Compatible Apple Clang 4.1 ((tags/Apple/clang-421.11.66))] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import dill
>>> class Company:
...     pass
... 
>>> company1 = Company()
>>> company1.name = 'banana'
>>> company1.value = 40
>>> 
>>> company2 = lambda x:x
>>> company2.name = 'rhubarb'
>>> company2.value = 42
>>> 
>>> dill.dump_session('dill.pkl')
>>>

теперь выключите компьютер, идите наслаждаться эспрессо или что-то еще, и вернуться позже...

Python 2.7.8 (default, Jul 13 2014, 02:29:54) 
[GCC 4.2.1 Compatible Apple Clang 4.1 ((tags/Apple/clang-421.11.66))] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import dill
>>> dill.load_session('dill.pkl')
>>> company1.name
'banana'
>>> company1.value
40
>>> company2.name
'rhubarb'
>>> company2.value
42
>>> company2
<function <lambda> at 0x1065f2938>

единственным серьезным недостатком является то, что dill не является частью стандарта python библиотека. Поэтому, если вы не можете установить пакет python на своем сервере, вы не можете его использовать.

однако, если вы можете установить пакеты python в своей системе, вы можете получить последнюю версию dill С git+https://github.com/uqfoundation/dill.git@master#egg=dill. И вы можете получить последнюю выпущенную версию с pip install dill.

40  
2016-05-13 03:54:58

можно использовать anycache чтобы сделать работу за вас. Он рассматривает все детали:

  • он использует укроп в качестве бэкэнда, который расширяет python pickle модуль для обработки lambda и все хорошо особенности python.
  • он хранит разные объекты в разных файлах и перезагружает их правильно.
  • ограничивает размер кэша
  • позволяет очистить кэш
  • позволяет совместное использование объектов между несколькими работает
  • позволяет уважать входные файлы, которые влияют на результат

если у вас есть функция myfunc который создает экземпляр:

from anycache import anycache

class Company(object):
    def __init__(self, name, value):
        self.name = name
        self.value = value

@anycache(cachedir='/path/to/your/cache')    
def myfunc(name, value)
    return Company(name, value)

Anycache вызывает myfunc в первый раз и соленья результат файл в cachedir С помощью уникального идентификатора (в зависимости от имени функции и ее аргументов) в качестве имени файла. При любом последовательном запуске загружается маринованный объект. Если cachedir сохраняется между запусками python, маринованный объект берется из предыдущего запуска python.

для получения дополнительной информации см. документация

2  
2017-11-19 22:27:41

Comments

    Ничего не найдено.
Click here to cancel reply.