начнем с ответа на первый вопрос:

Вопрос 1

почему я получаю ValueError: Index contains duplicate entries, cannot reshape

это происходит потому, что панды пытается переиндексировать либо columns или index объект с повторяющимися записями. Существуют различные методы для использования, которые могут выполнять поворот. Некоторые из них не очень хорошо подходят, когда есть дубликаты ключей, в которых его просят повернуть. Например. Рассмотрим pd.DataFrame.pivot. Я знаю есть повторяющиеся записи, которые разделяют row и col значения:

df.duplicated(['row', 'col']).any()

True

когда я pivot используя

df.pivot(index='row', columns='col', values='val0')

я получаю ошибку, упомянутых выше. На самом деле, я получаю ту же ошибку, когда я пытаюсь выполнить ту же задачу с:

df.set_index(['row', 'col'])['val0'].unstack()

вот список идиом, которые мы можем использовать для поворота

1. pd.DataFrame.groupby + pd.DataFrame.unstack
   • хороший общий подход для выполнения практически любого типа pivot
   • вы указываете все столбцы, которые будут составлять уровни сводных строк и уровни столбцов в одной группе. Вы следуете этому, выбирая оставшиеся столбцы, которые вы хотите агрегировать, и функции, которые вы хотите выполнить агрегацию. Наконец-то ты unstack уровни, которые вы хотите быть в столбце индекс.
2. pd.DataFrame.pivot_table
   • прославленная версия groupby С более интуитивным API. Для многих людей это предпочтительный подход. И это подход со стороны разработчиков.
   • укажите уровень строки, уровень столбца, значения для агрегирования и функции(функции) для выполнения агрегирования.
3. pd.DataFrame.set_index + pd.DataFrame.unstack
   • удобный и понятный для некоторых (включая меня). Не удается обработать повторяющиеся сгруппированные ключи.
   • аналогично groupby парадигма, мы указываем все столбцы, которые в конечном итоге будут либо строками, либо уровнями столбцов, и устанавливаем их в качестве индекса. Мы тогда unstack уровни, которые мы хотим в Столбцах. Если остальные уровни индекса или столбцов не являются уникальными, этот метод будет неудача.
4. pd.DataFrame.pivot
   • очень похоже на set_index в том, что он разделяет дубликат ключа ограничения. API также очень ограничен. Он принимает только скалярные значения для index,columns,values.
   • аналогично pivot_table метод в том, что мы выбираем строки, столбцы и значения, на которых нужно повернуть. Однако мы не можем агрегировать, и если строки или столбцы не уникальны, этот метод потерпеть неудачу.
5. pd.crosstab
   • это специализированная версия pivot_table и в чистом виде это самый интуитивный способ выполнения нескольких задач.
6. pd.factorize+ np.bincount
   • это очень продвинутая техника, которая очень неясна, но очень быстро. Этого не может быть используется при любых обстоятельствах, но когда он может быть использован, и вам удобно его использовать, вы получите вознаграждение за производительность.
7. pd.get_dummies+ pd.DataFrame.dot
   • я использую это для умного выполнения перекрестной табуляции.

---

примеры

что я буду делать для каждого последующего ответа и вопрос в том, чтобы ответить на него с помощью pd.DataFrame.pivot_table. Затем я предоставлю Альтернативы для выполнения той же задачи.

Вопрос 3

как мне повернуть df такое, что col значения колонок row значения-это индекс, среднее значение val0 это значения, а пропущенные значения 0?

• pd.DataFrame.pivot_table

  • fill_value по умолчанию не задано. Я, как правило, установить его соответствующим образом. В в этом случае я установил его в 0. Заметьте, я пропустил вопрос 2 поскольку это то же самое, что и этот ответ без fill_value

  • aggfunc='mean' по умолчанию, и мне не нужно было его устанавливать. Я включил его, чтобы быть явным.

    df.pivot_table(
        values='val0', index='row', columns='col',
        fill_value=0, aggfunc='mean')
    
    col   col0   col1   col2   col3  col4
    row                                  
    row0  0.77  0.605  0.000  0.860  0.65
    row2  0.13  0.000  0.395  0.500  0.25
    row3  0.00  0.310  0.000  0.545  0.00
    row4  0.00  0.100  0.395  0.760  0.24
    

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].mean().unstack(fill_value=0)
  

• pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc='mean').fillna(0)
  

---

Вопрос 4

могу ли я получить что-то другое, чем mean, например,sum?

• pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index='row', columns='col',
      fill_value=0, aggfunc='sum')
  
  col   col0  col1  col2  col3  col4
  row                               
  row0  0.77  1.21  0.00  0.86  0.65
  row2  0.13  0.00  0.79  0.50  0.50
  row3  0.00  0.31  0.00  1.09  0.00
  row4  0.00  0.10  0.79  1.52  0.24
  

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].sum().unstack(fill_value=0)
  

• pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc='sum').fillna(0)
  

---

Вопрос 5

могу ли я сделать больше одного агрегирования за раз?

обратите внимание, что для pivot_table и cross_tab мне нужно было передать список callables. С другой стороны, groupby.agg способен принимать строки для ограниченного числа специальных функций. groupby.agg также взял бы те же вызываемые объекты, которые мы передали другим, но часто более эффективно использовать имена строковых функций, поскольку есть эффективность достигнутый.

• pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index='row', columns='col',
      fill_value=0, aggfunc=[np.size, np.mean])
  
       size                      mean                           
  col  col0 col1 col2 col3 col4  col0   col1   col2   col3  col4
  row                                                           
  row0    1    2    0    1    1  0.77  0.605  0.000  0.860  0.65
  row2    1    0    2    1    2  0.13  0.000  0.395  0.500  0.25
  row3    0    1    0    2    0  0.00  0.310  0.000  0.545  0.00
  row4    0    1    2    2    1  0.00  0.100  0.395  0.760  0.24
  

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].agg(['size', 'mean']).unstack(fill_value=0)
  

• pd.crosstab

  pd.crosstab(
      index=df['row'], columns=df['col'],
      values=df['val0'], aggfunc=[np.size, np.mean]).fillna(0, downcast='infer')
  

---

Вопрос 6

могу ли я агрегировать по нескольким столбцам значений?

• pd.DataFrame.pivot_table проходим values=['val0', 'val1'] но мы могли бы оставить это полностью

  df.pivot_table(
      values=['val0', 'val1'], index='row', columns='col',
      fill_value=0, aggfunc='mean')
  
        val0                             val1                          
  col   col0   col1   col2   col3  col4  col0   col1  col2   col3  col4
  row                                                                  
  row0  0.77  0.605  0.000  0.860  0.65  0.01  0.745  0.00  0.010  0.02
  row2  0.13  0.000  0.395  0.500  0.25  0.45  0.000  0.34  0.440  0.79
  row3  0.00  0.310  0.000  0.545  0.00  0.00  0.230  0.00  0.075  0.00
  row4  0.00  0.100  0.395  0.760  0.24  0.00  0.070  0.42  0.300  0.46
  

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0', 'val1'].mean().unstack(fill_value=0)
  

---

Вопрос 7

можно разделить на несколько столбцов?

• pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index='row', columns=['item', 'col'],
      fill_value=0, aggfunc='mean')
  
  item item0             item1                         item2                   
  col   col2  col3  col4  col0  col1  col2  col3  col4  col0   col1  col3  col4
  row                                                                          
  row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.605  0.86  0.65
  row2  0.35  0.00  0.37  0.00  0.00  0.44  0.00  0.00  0.13  0.000  0.50  0.13
  row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.000  0.28  0.00
  row4  0.15  0.64  0.00  0.00  0.10  0.64  0.88  0.24  0.00  0.000  0.00  0.00
  

• pd.DataFrame.groupby

  df.groupby(
      ['row', 'item', 'col']
  )['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)
  

---

Вопрос 8

можно разделить на несколько колонны?

• pd.DataFrame.pivot_table

  df.pivot_table(
      values='val0', index=['key', 'row'], columns=['item', 'col'],
      fill_value=0, aggfunc='mean')
  
  item      item0             item1                         item2                  
  col        col2  col3  col4  col0  col1  col2  col3  col4  col0  col1  col3  col4
  key  row                                                                         
  key0 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.86  0.00
       row2  0.00  0.00  0.37  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.50  0.00
       row3  0.00  0.00  0.00  0.00  0.31  0.00  0.81  0.00  0.00  0.00  0.00  0.00
       row4  0.15  0.64  0.00  0.00  0.00  0.00  0.00  0.24  0.00  0.00  0.00  0.00
  key1 row0  0.00  0.00  0.00  0.77  0.00  0.00  0.00  0.00  0.00  0.81  0.00  0.65
       row2  0.35  0.00  0.00  0.00  0.00  0.44  0.00  0.00  0.00  0.00  0.00  0.13
       row3  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.28  0.00
       row4  0.00  0.00  0.00  0.00  0.10  0.00  0.00  0.00  0.00  0.00  0.00  0.00
  key2 row0  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.40  0.00  0.00
       row2  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.00  0.13  0.00  0.00  0.00
       row4  0.00  0.00  0.00  0.00  0.00  0.64  0.88  0.00  0.00  0.00  0.00  0.00
  

• pd.DataFrame.groupby

  df.groupby(
      ['key', 'row', 'item', 'col']
  )['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)
  

• pd.DataFrame.set_index потому что набор ключей уникален как для строк, так и для столбцов

  df.set_index(
      ['key', 'row', 'item', 'col']
  )['val0'].unstack(['item', 'col']).fillna(0).sort_index(1)
  

---

Вопрос 9

могу ли я агрегировать частоту, в которой столбец и строки встречаются вместе, aka " cross табуляция"?

• pd.DataFrame.pivot_table

  df.pivot_table(index='row', columns='col', fill_value=0, aggfunc='size')
  
      col   col0  col1  col2  col3  col4
  row                               
  row0     1     2     0     1     1
  row2     1     0     2     1     2
  row3     0     1     0     2     0
  row4     0     1     2     2     1
  

• pd.DataFrame.groupby

  df.groupby(['row', 'col'])['val0'].size().unstack(fill_value=0)
  

• pd.cross_tab

  pd.crosstab(df['row'], df['col'])
  

• pd.factorize + np.bincount

  # get integer factorization `i` and unique values `r`
  # for column `'row'`
  i, r = pd.factorize(df['row'].values)
  # get integer factorization `j` and unique values `c`
  # for column `'col'`
  j, c = pd.factorize(df['col'].values)
  # `n` will be the number of rows
  # `m` will be the number of columns
  n, m = r.size, c.size
  # `i * m + j` is a clever way of counting the 
  # factorization bins assuming a flat array of length
  # `n * m`.  Which is why we subsequently reshape as `(n, m)`
  b = np.bincount(i * m + j, minlength=n * m).reshape(n, m)
  # BTW, whenever I read this, I think 'Bean, Rice, and Cheese'
  pd.DataFrame(b, r, c)
  
        col3  col2  col0  col1  col4
  row3     2     0     0     1     0
  row2     1     2     1     0     2
  row0     1     0     1     2     1
  row4     2     2     0     1     1
  

• pd.get_dummies

  pd.get_dummies(df['row']).T.dot(pd.get_dummies(df['col']))
  
        col0  col1  col2  col3  col4
  row0     1     2     0     1     1
  row2     1     0     2     1     2
  row3     0     1     0     2     0
  row4     0     1     2     2     1