биннинг данных в python с помощью scipy / numpy

Question

биннинг данных в python с помощью scipy / numpy

есть ли более эффективный способ взять среднее значение массива в заранее определенных ячейках? например, у меня есть массив чисел и массив, соответствующий начальной и конечной позициям bin в этом массиве, и я хочу просто взять среднее значение в этих ячейках? У меня есть код, который это делает, но мне интересно, как его можно сократить и улучшить. спасибо.

from scipy import *

from numpy import *



def get_bin_mean(a, b_start, b_end):

    ind_upper = nonzero(a >= b_start)[0]

    a_upper = a[ind_upper]

    a_range = a_upper[nonzero(a_upper < b_end)[0]]

    mean_val = mean(a_range)

    return mean_val





data = rand(100)

bins = linspace(0, 1, 10)

binned_data = []



n = 0

for n in range(0, len(bins)-1):

    b_start = bins[n]

    b_end = bins[n+1]

    binned_data.append(get_bin_mean(data, b_start, b_end))



print binned_data

913 5

python numpy scipy scientific-computing

5 ответов:

Comments

Ничего не найдено.

Sven Marnach · Accepted Answer · 2013-08-28 11:20:14

Это, наверное, быстрее и проще в использовании numpy.digitize():
import numpy
data = numpy.random.random(100)
bins = numpy.linspace(0, 1, 10)
digitized = numpy.digitize(data, bins)
bin_means = [data[digitized == i].mean() for i in range(1, len(bins))]
альтернативой этому является использование numpy.histogram():
bin_means = (numpy.histogram(data, bins, weights=data)[0] /
             numpy.histogram(data, bins)[0])
попробуйте сами, какой из них быстрее... :)

divenex · Accepted Answer · 2014-11-12 12:24:39

функция Scipy (>=0.11)scipy.статистика.binned_statistic специально обращается к вышеуказанному вопросу.

для того же примера, что и в предыдущих ответах, решение Scipy будет
import numpy as np
from scipy.stats import binned_statistic

data = np.random.rand(100)
bin_means = binned_statistic(data, data, bins=10, range=(0, 1))[0]

Eelco Hoogendoorn · Accepted Answer · 2014-02-11 22:17:50

Не знаю, почему этот поток получил некроз; но вот утвержденный ответ 2014 года, который должен быть намного быстрее:
import numpy as np

data = np.random.rand(100)
bins = 10
slices = np.linspace(0, 100, bins+1, True).astype(np.int)
counts = np.diff(slices)

mean = np.add.reduceat(data, slices[:-1]) / counts
print mean

Eelco Hoogendoorn · Accepted Answer · 2016-04-02 23:52:21

на numpy_indexed пакет (отказ от ответственности: я его автор) содержит функциональность для эффективного выполнения операций этого типа:
import numpy_indexed as npi
print(npi.group_by(np.digitize(data, bins)).mean(data))
это по существу то же самое решение, что и тот, который я опубликовал ранее; но теперь завернутый в хороший интерфейс, с тестами и все:)

Chmeul · Accepted Answer · 2017-05-23 15:26:25

Я бы добавил, а также ответить на вопрос найти средние значения bin с помощью histogram2d python что scipy также имеют функцию, специально разработанную для вычислить двумерную двоичную статистику для одного или нескольких наборов данных
import numpy as np
from scipy.stats import binned_statistic_2d

x = np.random.rand(100)
y = np.random.rand(100)
values = np.random.rand(100)
bin_means = binned_statistic_2d(x, y, values, bins=10).statistic
функции scipy.статистика.binned_statistic_dd является обобщением этой функции для наборов данных более высоких измерений