панды: фильтровать строки фрейма данных с цепочкой операторов

фильтры могут быть прикованы с помощью панд запрос:

df = pd.DataFrame( np.random.randn(30,3), columns = ['a','b','c'])
df_filtered = df.query('a>0').query('0<b<2')

фильтры также могут быть объединены в один запрос:

df_filtered = df.query('a>0 and 0<b<2')

ответ от @lodagro отличный. Я бы расширил его, обобщив функцию маски как:

def mask(df, f):
  return df[f(df)]

тогда вы можете делать такие вещи, как:

df.mask(lambda x: x[0] < 0).mask(lambda x: x[1] > 0)

Я предлагаю это для дополнительных примеров. Это тот же ответ, что и https://stackoverflow.com/a/28159296/

Я добавлю другие изменения, чтобы сделать этот пост более полезным.

pandas.DataFrame.query
query был сделан именно для этой цели. Рассмотрим фрейм данных df

import pandas as pd
import numpy as np

np.random.seed([3,1415])
df = pd.DataFrame(
    np.random.randint(10, size=(10, 5)),
    columns=list('ABCDE')
)

df

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
2  0  2  0  4  9
3  7  3  2  4  3
4  3  6  7  7  4
5  5  3  7  5  9
6  8  7  6  4  7
7  6  2  6  6  5
8  2  8  7  5  8
9  4  7  6  1  5

давайте query для фильтрации всех строк, где D > B

df.query('D > B')

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
2  0  2  0  4  9
3  7  3  2  4  3
4  3  6  7  7  4
5  5  3  7  5  9
7  6  2  6  6  5

что мы цепи

df.query('D > B').query('C > B')
# equivalent to
# df.query('D > B and C > B')
# but defeats the purpose of demonstrating chaining

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
4  3  6  7  7  4
5  5  3  7  5  9
7  6  2  6  6  5

С 0.18.1 версия the .loc метод принимает вызываемый объект для выбора. Вместе с лямбда-функциями вы можете создавать очень гибкие цепные фильтры:

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(0,100,size=(100, 4)), columns=list('ABCD'))
df.loc[lambda df: df.A == 80]  # equivalent to df[df.A == 80] but chainable

df.sort_values('A').loc[lambda df: df.A > 80].loc[lambda df: df.B > df.A]

Если все, что вы делаете, это фильтрация, вы также можете опустить .loc.

у меня был тот же вопрос, за исключением того, что я хотел объединить критерии в условие или. Формат данного ваутером Овермейре сочетает в себе критерии В и условие такое, что обе стороны должны быть довольны:

In [96]: df
Out[96]:
   A  B  C  D
a  1  4  9  1
b  4  5  0  2
c  5  5  1  0
d  1  3  9  6

In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
   A  B  C  D
d  1  3  9  6

но я нашел, что если обернуть каждое условие в (... == True) и соедините критерии с трубой, критерии объединяются в условие или, удовлетворяемое всякий раз, когда любой из них истинен:

df[((df.A==1) == True) | ((df.D==6) == True)]

мой ответ похож на другие. Если вы не хотите создавать новую функцию, вы можете использовать то, что панды уже определен. Используйте метод трубы.

df.pipe(lambda d: d[d['column'] == value])

Если вы хотите применить все общие логические маски, а также маску общего назначения, вы можете бросить следующее в файл, а затем просто назначить их все следующим образом:

pd.DataFrame = apply_masks()

использование:

A = pd.DataFrame(np.random.randn(4, 4), columns=["A", "B", "C", "D"])
A.le_mask("A", 0.7).ge_mask("B", 0.2)... (May be repeated as necessary

Это немного хаки, но это может сделать вещи немного чище, если вы постоянно измельчения и изменения наборов данных в соответствии с фильтрами. Существует также фильтр общего назначения, адаптированный из Даниила Велкова выше в функции gen_mask, которую вы можно использовать с лямбда-функциями или иным образом, если это необходимо.

файл для сохранения (я использую masks.py):

import pandas as pd

def eq_mask(df, key, value):
    return df[df[key] == value]

def ge_mask(df, key, value):
    return df[df[key] >= value]

def gt_mask(df, key, value):
    return df[df[key] > value]

def le_mask(df, key, value):
    return df[df[key] <= value]

def lt_mask(df, key, value):
    return df[df[key] < value]

def ne_mask(df, key, value):
    return df[df[key] != value]

def gen_mask(df, f):
    return df[f(df)]

def apply_masks():

    pd.DataFrame.eq_mask = eq_mask
    pd.DataFrame.ge_mask = ge_mask
    pd.DataFrame.gt_mask = gt_mask
    pd.DataFrame.le_mask = le_mask
    pd.DataFrame.lt_mask = lt_mask
    pd.DataFrame.ne_mask = ne_mask
    pd.DataFrame.gen_mask = gen_mask

    return pd.DataFrame

if __name__ == '__main__':
    pass

просто хочу добавить демонстрацию с помощью loc фильтровать не только по строкам, но и по столбцам и некоторым достоинствам к цепной операции.

приведенный ниже код может фильтровать строки по значению.

df_filtered = df.loc[df['column'] == value]

изменив его немного, вы также можете фильтровать столбцы.

df_filtered = df.loc[df['column'] == value, ['year', 'column']]

так почему же мы хотим цепным методом? Ответ заключается в том, что это просто читать, если у вас есть много операций. Например,

res =  df\
    .loc[df['station']=='USA', ['TEMP', 'RF']]\
    .groupby('year')\
    .agg(np.nanmean)

это решение более хакерское с точки зрения реализации, но я нахожу его гораздо более чистым с точки зрения использования, и оно, безусловно, более общее, чем другие предложенные.

https://github.com/toobaz/generic_utils/blob/master/generic_utils/pandas/where.py

вам не нужно загружать все РЕПО: сохранение файла и выполнение

from where import where as W

должно хватить. Затем вы используете его следующим образом:

df = pd.DataFrame([[1, 2, True],
                   [3, 4, False], 
                   [5, 7, True]],
                  index=range(3), columns=['a', 'b', 'c'])
# On specific column:
print(df.loc[W['a'] > 2])
print(df.loc[-W['a'] == W['b']])
print(df.loc[~W['c']])
# On entire - or subset of a - DataFrame:
print(df.loc[W.sum(axis=1) > 3])
print(df.loc[W[['a', 'b']].diff(axis=1)['b'] > 1])

немного менее глупо пример использования:

data = pd.read_csv('ugly_db.csv').loc[~(W == '$null$').any(axis=1)]

кстати: даже в том случае, когда вы просто используете логические cols,

df.loc[W['cond1']].loc[W['cond2']]

может быть гораздо более эффективным, чем

df.loc[W['cond1'] & W['cond2']]

потому что он оценивает cond2 только здесь cond1 и True.

отказ от ответственности: я впервые дал этот ответ в другом месте потому что я этого не видел.

панды предоставляет две альтернативы Ваутер ответ Овермейре, которые не требуют переопределения. Один из них .loc[.] с вызываемым, как в

df_filtered = df.loc[lambda x: x['column'] == value]

другое .pipe(), а в

df_filtered = df.pipe(lambda x: x['column'] == value)

это непривлекательно, как это требует я назначаю df к переменной перед возможностью фильтрации по ее значениям.

df[df["column_name"] != 5].groupby("other_column_name")

кажется, работает: вы можете связать[] оператора. Может быть, они добавили его, так как вы задали вопрос.

Если вы установите столбцы для поиска в качестве индексов, то вы можете использовать DataFrame.xs() взять сечение. Это не так универсально, как query ответы, но это может быть полезно в некоторых ситуациях.

import pandas as pd
import numpy as np

np.random.seed([3,1415])
df = pd.DataFrame(
    np.random.randint(3, size=(10, 5)),
    columns=list('ABCDE')
)

df
# Out[55]: 
#    A  B  C  D  E
# 0  0  2  2  2  2
# 1  1  1  2  0  2
# 2  0  2  0  0  2
# 3  0  2  2  0  1
# 4  0  1  1  2  0
# 5  0  0  0  1  2
# 6  1  0  1  1  1
# 7  0  0  2  0  2
# 8  2  2  2  2  2
# 9  1  2  0  2  1

df.set_index(['A', 'D']).xs([0, 2]).reset_index()
# Out[57]: 
#    A  D  B  C  E
# 0  0  2  2  2  2
# 1  0  2  1  1  0

вы также можете использовать включает в себя библиотека для логических операций. Это довольно быстро.

df[np.logical_and(df['A'] == 1 ,df['B'] == 6)]