самый быстрый способ создать JSON для отражения древовидной структуры в Python / Django с помощью mptt

Какой самый быстрый способ в Python (Django) создать JSON на основе набора запросов Django? Обратите внимание, что разбор его в шаблоне, как предложено Здесь, не является вариантом.

Предыстория заключается в том, что я создал метод, который петляет по всем узлам дерева, но уже ужасно медленно преобразует около 300 узлов. Первая (и, вероятно, худшая) идея, которая пришла мне в голову, - это создать json каким-то образом "вручную". Смотрите код ниже.

#! Solution 1 !!#

def quoteStr(input):

    return """ + smart_str(smart_unicode(input)) + """



def createJSONTreeDump(user, node, root=False, lastChild=False):

    q = """



    #open tag for object

    json = str("n" + indent + "{" +

                  quoteStr("name") + ": " + quoteStr(node.name) + ",n" +

                  quoteStr("id") + ": " + quoteStr(node.pk) + ",n" +

                )



    childrenTag = "children"

    children = node.get_children()

    if children.count() > 0 :

        #create children array opening tag

        json += str(indent + quoteStr(childrenTag) + ": [")

        #for child in children:

        for idx, child in enumerate(children):

            if (idx + 1) == children.count():

                //recursive call

                json += createJSONTreeDump(user, child, False, True, layout)

            else:

                //recursive call

                json += createJSONTreeDump(user, child, False, False, layout)

        #add children closing tag

        json += "]n"



    #closing tag for object

    if lastChild == False:

        #more children following, add ","

        json += indent + "},n"

    else:

        #last child, do not add ","

        json += indent + "}n"

    return json

Дерево структура, подлежащая визуализации, представляет собой дерево, построенное с помощью mptt, где вызов .get_children() возвращает все дочерние элементы узла.

Модель выглядит так же просто, как и эта, mptt заботится обо всем остальном.

class Node(MPTTModel, ExtraManager):

    """

    Representation of a single node

    """ 

    name = models.CharField(max_length=200)

    parent = TreeForeignKey('self', null=True, blank=True, related_name='%(app_label)s_%(class)s_children')

Ожидаемый результат JSON , созданный таким образом в шаблоне var root = {{ jsonTree|safe }}

Править:
На основе этого ответа я создал следующий код (определенно лучший код), но чувствует себя только немного быстрее.

Решение 2:

def serializable_object(node):

    "Recurse into tree to build a serializable object"

    obj = {'name': node.name, 'id': node.pk, 'children': []}

    for child in node.get_children():

        obj['children'].append(serializable_object(child))

    return obj



import json

jsonTree = json.dumps(serializable_object(nodeInstance))

Решение 3:

def serializable_object_List_Comprehension(node):

    "Recurse into tree to build a serializable object"

    obj = {

        'name': node.name,

        'id': node.pk,

        'children': [serializable_object(ch) for ch in node.get_children()]

    }

    return obj

Решение 4:

def recursive_node_to_dict(node):

    result = {

        'name': node.name, 'id': node.pk

    }

    children = [recursive_node_to_dict(c) for c in node.get_children()],

    if children is not None:

        result['children'] = children

    return result



from mptt.templatetags.mptt_tags import cache_tree_children

root_nodes = cache_tree_children(root.get_descendants())

dicts = []

for n in root_nodes:

    dicts.append(recursive_node_to_dict(root_nodes[0]))

    jsonTree = json.dumps(dicts, indent=4)

Решение 5 (Используйте select_related для pre_fetch, тогда как не уверен, правильно ли используется)

def serializable_object_select_related(node):

    "Recurse into tree to build a serializable object, make use of select_related"

    obj = {'name': node.get_wbs_code(), 'wbsCode': node.get_wbs_code(), 'id': node.pk, 'level': node.level, 'position': node.position, 'children': []}

    for child in node.get_children().select_related():

        obj['children'].append(serializable_object(child))

    return obj

Решение 6 (улучшенное решение 4, использующее кэширование дочерних узлов):

def recursive_node_to_dict(node):

    result = {

        'name': node.name, ''id': node.pk,

         #notice the use of node._cached_children instead of node.get_children()

        'children' : [recursive_node_to_dict(c) for c in node._cached_children]

    }

Вызывается через:

from mptt.templatetags.mptt_tags import cache_tree_children

subTrees = cache_tree_children(root.get_descendants(include_self=True))

subTreeDicts = []

for subTree in subTrees:

    subTree = recursive_node_to_dict(subTree)

    subTreeDicts.append(subTree)

jsonTree = json.dumps(subTreeDicts, indent=4)

#optional clean up, remove the [ ] at the beginning and the end, its needed for D3.js

jsonTree = jsonTree[1:len(jsonTree)]

jsonTree = jsonTree[:len(jsonTree)-1]

Ниже вы можете увидеть результаты профилирования, созданные с помощью cProfile, как предлагает MuMind, настраивая представление Django для запуска автономного метода profileJSON (), который в свою очередь вызывает различные решения для создания вывода JSON.

def startProfileJSON(request):

    print "startProfileJSON"

    import cProfile

    cProfile.runctx('profileJSON()', globals=globals(), locals=locals())

    print "endProfileJSON"

Результаты:

Решение 1: 3350347 вызовов функций (3130372 примитивных вызова) за 4,969 секунды (подробности )

Решение 2: 2533705 вызовов функций (2354516 примитивных вызовов) за 3,630 секунды (подробности )

Решение 3: 2533621 вызовов функций (2354441 примитивных вызовов) за 3,684 секунды (подробности )

Решение 4: 2812725 вызовы функций (2466028 примитивных вызовов) за 3,840 секунды (подробности)

Решение 5: 2536504 вызова функций (2357256 примитивных вызовов) за 3,779 секунды (подробности )

Решение 6 (улучшенное решение 4): 2593122 вызова функций (2299165 примитивных вызовов) за 3,663 секунды (подробности )

Обсуждение:

Решение 1: собственная реализация кодирования. плохая идея

Решение 2 + 3: в настоящее время Самый быстрый , но все равно мучительно медленный

Решение 4: выглядит многообещающим с кэшированием childs, но выполняет аналогичные действия и в настоящее время производит недопустимый json, поскольку дети помещаются в double []:

"children": [[]] instead of "children": []

Решение 5: Использование select_related не имеет значения, в то время как, вероятно, используется неверно, так как узел всегда имеет иностранный ключ к своему родителю, и мы анализируем от корня к дочернему.

Обновление: решение 6: по-моему, это самое чистое решение, использование кэширования дочерних узлов. Но выполняет только аналогично решению 2 + 3. Что для меня странно.

Есть еще идеи по улучшению производительности?