Эффективный пороговый фильтр массива с numpy
мне нужно отфильтровать массив, чтобы удалить элементы, которые ниже определенного порога. Мой текущий код выглядит так:
threshold = 5
a = numpy.array(range(10)) # testing data
b = numpy.array(filter(lambda x: x >= threshold, a))
проблема в том, что это создает временный список, используя фильтр с функцией Lambda (медленно).
поскольку это довольно простая операция, возможно, есть функция numpy, которая делает это эффективным способом, но я не смог ее найти.
Я думал, что другой способ достичь этого может быть сортировка массив, находя индекс порога и возвращая срез из этого индекса вперед, но даже если это будет быстрее для небольших входов (и это не будет заметно в любом случае), его окончательно асимптотически менее эффективно по мере роста входного размера.
какие идеи? Спасибо!
обновление: я тоже сделал некоторые измерения, и сортировка+нарезка все еще была в два раза быстрее, чем чистый фильтр python, когда вход был 100.000.000 записей.
In [321]: r = numpy.random.uniform(0, 1, 100000000)
In [322]: %timeit test1(r) # filter
1 loops, best of 3: 21.3 s per loop
In [323]: %timeit test2(r) # sort and slice
1 loops, best of 3: 11.1 s per loop
In [324]: %timeit test3(r) # boolean indexing
1 loops, best of 3: 1.26 s per loop
2 ответов:
b = a[a>threshold]этоЯ проверил следующим образом:
import numpy as np, datetime # array of zeros and ones interleaved lrg = np.arange(2).reshape((2,-1)).repeat(1000000,-1).flatten() t0 = datetime.datetime.now() flt = lrg[lrg==0] print datetime.datetime.now() - t0 t0 = datetime.datetime.now() flt = np.array(filter(lambda x:x==0, lrg)) print datetime.datetime.now() - t0я получил
$ python test.py 0:00:00.028000 0:00:02.461000http://docs.scipy.org/doc/numpy/user/basics.indexing.html#boolean-or-mask-index-arrays
добавить
@yosukesabai
ответ, важно использовать переменную diffrent, так как это вернет пустой массив:
im=im[im>167]Не могу объяснить, почему, хотя, может быть, это потому, что я слишком устал думать : (
Comments