панды уникальные значения несколько столбцов

Question

панды уникальные значения несколько столбцов

df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],

                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],

                   'Col3': np.random.random(5)})

что является лучшим способом, чтобы вернуть уникальные значения из столбца col1' и 'столбец col2'?

требуется

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'

990 6

python pandas dataframe unique

6 ответов:

Comments

Ничего не найдено.

Alex Riley · Accepted Answer · 2017-11-11 17:12:44

pd.unique возвращает уникальные значения из входного массива, столбца или индекса фрейма данных.

вход в эту функцию должен быть одномерным, поэтому несколько столбцов должны быть объединены. Самый простой способ-выбрать нужные столбцы, а затем просмотреть значения в плоском массиве NumPy. Вся операция выглядит так:
>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)
отметим, что ravel() - это метод выбора, чем возвращает представление (если это возможно) многомерной матрица. Аргумент 'K' указывает метод для сглаживания массива в том порядке, в котором элементы хранятся в памяти (pandas обычно хранит базовые массивы в Fortran-непрерывный порядок; колонны перед строки). Это может быть значительно, чем при использовании метода 'ордера'.

альтернативный способ-выбрать столбцы и передать их в np.unique:
>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)
нет необходимости использовать ravel() здесь как способ обрабатывает многомерные массивы. Тем не менее, это, вероятно, будет медленнее, чем pd.unique поскольку он использует алгоритм сортировки, а не хэш-таблицу для идентификации уникальных значений.

разница в скорости существенна для больших кадров данных (особенно если есть только несколько уникальных значений):
>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop

Mike · Accepted Answer · 2014-11-17 18:30:18

у меня есть настройка a DataFrame с несколькими простыми строками в его столбцах:
>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e
вы можете объединить интересующие вас столбцы и вызвать :
>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)

James Little · Accepted Answer · 2014-11-17 18:31:42

In [5]: set(df.Col1).union(set(df.Col2))
Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}

или:

set(df.Col1) | set(df.Col2)

Manhattan · Accepted Answer · 2014-11-17 18:30:14

неpandas решение: с помощью set().

import pandas as pd
import numpy as np

df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
              'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
               'Col3' : np.random.random(5)})

print df

print set(df.Col1.append(df.Col2).values)

выход:

   Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])

erikreed · Accepted Answer · 2017-08-18 04:56:56

обновленное решение с использованием numpy v1. 13+ требует указания оси в np.уникальный Если используется несколько столбцов, в противном случае массив неявно сглажен.
import numpy as np

np.unique(df[['col1', 'col2']], axis=0)
это изменение было введено в ноябре 2016 года: https://github.com/numpy/numpy/commit/1f764dbff7c496d6636dc0430f083ada9ff4e4be

Lisle · Accepted Answer · 2018-06-06 23:26:09

для тех из нас, кто любит все вещи панды, применяются, и, конечно же, лямбда-функции:
df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)