pandas- все статьи тега ➜ страница 5
Получение полезных дат из топоров.получить xlim () в графике временного ряда панды
Я пытаюсь получить xlimits графика в виде объекта Python datetime из графика временного ряда, созданного с помощью pandas. Использование ax.get_xlim() возвращает пределы оси в виде numpy.float64, и я не могу понять, как преобразовать числа в пригодное для использования время. import pandas from matplotlib import dates import matplotlib.pyplot as plt from datetime import datetime from numpy.random import randn ts = pandas.Series(randn(10000), index=pandas.date_range('1/1/2000', periods=10 ...
Как получить доступ к колонке MultiIndex после groupby в pandas?
С одноиндексированным фреймом данных столбцы доступны в группе по объекту: df1 = pd.DataFrame({'a':[2,2,4,4], 'b': [5,6,7,8]}) df1.groupby('a')['b'].sum() -> a 2 11 4 15 Но в Многоиндексном фрейме данных, когда он не группируется по уровням, столбцы больше не доступны в объекте group by df = pd.concat([df1, df1], keys=['c', 'd'], axis=1) df -> c d a b a b 0 2 5 2 5 1 2 6 2 6 2 4 7 4 7 3 4 8 4 8 df.groupby([('c','a')])[('c','b')].sum() -> Ke ...
R pandas groupby индекс первой строки в каждой группе
Как получить индекс первой строки в каждой группе по группам? (я знаю .метод groupBy.first () возвращает первую строку в каждой группе, но я не знаю, как получить их индекс) Большое спасибо! ...
Заполнить NaN значения столбца в таблице данных из другой таблицы данных панд
У меня есть таблица в pandas df main_id p_id_y score 1 1 123 0.617523 0 2 456 0.617523 0 3 789 NaN 0 4 987 NaN 1 5 654 NaN Также у меня есть другой фрейм данных df2. который имеет столбец p_id score 123 1.3 456 4.6 789 0.4 987 1.1 654 3.2 Я должен заполнить все оценки для всех p_id_y which is NaN с соответствующим счетом p_id в df ...
Наиболее эффективный способ перебора и обновления строк в большом фрейме данных pandas
Это мой фрагмент кода для обновления строк фрейма данных: def arrangeData(df): hour_from_timestamp_list = [] date_from_timestamp_list = [] for row in df.itertuples(): timestamp = row.timestamp hour_from_timestamp = datetime.fromtimestamp( int(timestamp) / 1000).strftime('%H:%M:%S') date_from_timestamp = datetime.fromtimestamp( int(timestamp) / 1000).strftime('%d-%m-%Y') hour_from_timestamp_list.append(hour_from_timestamp) date_from_timestamp_list.append(date ...
pandas-группировка и фильтрация последовательных значений
У меня есть этот фрейм данных df: U,Datetime 01,2015-01-01 20:00:00 01,2015-02-01 20:05:00 01,2015-04-01 21:00:00 01,2015-05-01 22:00:00 01,2015-07-01 22:05:00 02,2015-08-01 20:00:00 02,2015-09-01 21:00:00 02,2014-01-01 23:00:00 02,2014-02-01 22:05:00 02,2015-01-01 20:00:00 02,2014-03-01 21:00:00 03,2015-10-01 20:00:00 03,2015-11-01 21:00:00 03,2015-12-01 23:00:00 03,2015-01-01 22:05:00 03,2015-02-01 20:00:00 03,2015-05-01 21:00:00 03,2014-01-01 20:00:00 03,2014-02-01 21:00:00 Сделано U и Da ...
Прочитать все, кроме последней строки CSV-файла в pandas
У меня есть CSV-файлы, которые я читаю в pandas с: #!/usr/bin/env python import pandas as pd import sys filename = sys.argv[1] df = pd.read_csv(filename) К сожалению, последняя строка этих файлов часто повреждена (имеет неправильное количество запятых). В настоящее время я открываю каждый файл в текстовом редакторе и удаляю последнюю строку. Можно ли удалить последнюю строку в том же скрипте python / pandas, который загружает CSV, чтобы избежать необходимости выполнять этот дополнительны ...
min () операция над вложенными groupby в pandas
Я просто знакомлюсь с пандами и не могу преодолеть концептуальную проблему. Мой фрейм данных выглядит следующим образом: df=pd.DataFrame({'ANIMAL':[1,1,1,1,1,2,2,2], 'AGE_D' : [3,6,47,377,698,1,9,241], 'AGE_Y' : [1,1,1,2,2,1,1,1]}) Я хотел бы сделать вложенную группу внутри animal и age_y, а затем выбрать min в подгруппе. Желаемый результат будет тогда: ANIMAL AGE_Y AGE_D 1 1 3 1 2 377 2 1 1 Я могу сделать это без вложенности ...
Как найти частоту ngram столбца в фрейме данных pandas?
Ниже приведен входной фрейм данных pandas, который у меня есть. Я хочу найти частоту униграмм и биграмм. Пример того, что я ожидаю, показан ниже Как это сделать с помощью nltk или scikit learn? Я написал ниже код, который принимает строку в качестве входных данных. Как расширить его до серии / фрейма данных? from nltk.collocations import * desc='john is a guy person you him guy person you him' tokens = nltk.word_tokenize(desc) bigram_measures = nltk.collocations.BigramAssocMeasures() finde ...
Расчет Собственного Капитала На Основе Динамических Строк Pandas
Я бился головой о стену, пытаясь найти наилучший подход к этому вопросу. У меня медленный тестирования в Excel, который я пытаюсь порт для панд. Я думал, что смогу использовать мощь python, а не просто воссоздавать функции Excel в python, но я застрял! Ключевая проблема заключается в расчете портфеля P&L для нескольких и динамически изменяющихся инструментов с течением времени. Например, основываясь на критериях, я хочу купить инструмент A и C для первые N периодов. Затем я хочу использоват ...
Группировка ежедневных данных по месяцам в python / pandas и последующая нормализация
У меня есть таблица ниже в Пандах DataFrame: q_string q_visits q_date 0 nucleus 1790 2012-10-02 00:00:00 1 neuron 364 2012-10-02 00:00:00 2 current 280 2012-10-02 00:00:00 3 molecular 259 2012-10-02 00:00:00 4 stem 201 2012-10-02 00:00:00 Таблица содержит объем запросов из журнала сервера, по дням. Я хотел бы сделать 2 вещи: я хотел бы сгруппировать запросы по месяцам, суммируя объем запро ...
Pandas DataFrame groupby два столбца и получить первый и последний
У меня есть DataFrame как следовать. df = pd.DataFrame({'id' : [1,1,2,3,2], 'value' : ["a","b","a","a","c"], 'Time' : ['6/Nov/2012 23:59:59 -0600','6/Nov/2012 00:00:05 -0600','7/Nov/2012 00:00:09 -0600','27/Nov/2012 00:00:13 -0600','27/Nov/2012 00:00:17 -0600']}) Мне нужно получить вывод, подобный следующему. combined_id | enter time | exit time | time difference Combined_id должна быть создана группировка 'ID' и 'значение' g = df.groupby(['id', 'value']) Следующее Не р ...
Как перебирать строки в фрейме данных в панд?
у меня есть DataFrame от Панды: import pandas as pd inp = [{'c1':10, 'c2':100}, {'c1':11,'c2':110}, {'c1':12,'c2':120}] df = pd.DataFrame(inp) print df выход: c1 c2 0 10 100 1 11 110 2 12 120 теперь я хочу перебрать строки этого кадра. Для каждой строки Я хочу иметь доступ к ее элементам (значения в ячейках) по имени столбцов. Например: for row in df.rows: print row['c1'], row['c2'] можно ли это сделать у панд? Я нашел это аналогичный вопрос. Но это не дает мне ответа, в ...
Удалить столбец из таблицы данных с помощью панды-дель-ДФ.имя столбца
при удалении столбца в таблице данных я использую: del df['column_name'] и это прекрасно работает. Почему я не могу использовать следующее? del df.column_name как вы можете получить доступ к колонке / серии как df.column_name, Я ожидаю, что это сработает. ...
Добавление нового столбца в существующий фрейм данных в Python pandas
у меня есть следующий индексированный фрейм данных с именованными столбцами и строками не-непрерывными числами: a b c d 2 0.671399 0.101208 -0.181532 0.241273 3 0.446172 -0.243316 0.051767 1.577318 5 0.614758 0.075793 -0.451460 -0.012493 Я хотел бы добавить новый столбец,'e', к существующему фрейму данных и не хотите ничего менять в фрейме данных (т. е. новый столбец всегда имеет ту же длину, что и фрейм данных). 0 -0.335485 1 -1.166658 2 -0.3 ...
Получить список из заголовков столбцов pandas DataFrame
Я хочу получить список заголовков столбцов из фрейма данных pandas. Фрейм данных будет поступать из пользовательского ввода, поэтому я не буду знать, сколько столбцов будет или как они будут называться. например, если мне дают фрейм данных, как это: >>> my_dataframe y gdp cap 0 1 2 5 1 2 3 9 2 8 7 2 3 3 4 7 4 6 7 7 5 4 8 3 6 8 2 8 7 9 9 10 8 6 6 4 9 10 10 7 Я хотел бы получить список, как показано ни ...
Выбор нескольких столбцов в панды фрейма данных
у меня есть данные в разных столбцах, но я не знаю как извлечь его, чтобы сохранить его в другой переменной. index a b c 1 2 3 4 2 3 4 5 Как выбрать 'a','b' и сохранить его в df1? пробовал df1 = df['a':'b'] df1 = df.ix[:, 'a':'b'] ни один, кажется, не работает. (Незначительное Редактирование) ...
Как получить количество строк в кадре данных Pandas?
Я пытаюсь получить количество строк dataframe df с пандами, и вот мой код. Способ 1: total_rows = df.count print total_rows +1 Способ 2: total_rows = df['First_columnn_label'].count print total_rows +1 оба фрагмента кода дают мне эту ошибку: TypeError: неподдерживаемые типы операндов для+: 'instancemethod ' и'int' что я делаю не так? По данным ответ дано @ root лучший (the самый быстрый) способ проверить длину df-это позвонить: df.shape[0] ...
Преобразование панды метода groupBy объекта в таблице данных
Я начинаю с входных данных, как это df1 = pandas.DataFrame( { "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"] } ) который при печати выглядит следующим образом: City Name 0 Seattle Alice 1 Seattle Bob 2 Portland Mallory 3 Seattle Mallory 4 Seattle Bob 5 Portland Mallory группировка достаточно прост: g1 = df1.groupby( [ "Name", "City"] ).count() и ...
Как бороться с SettingWithCopyWarning у панд?
фон Я только что обновил свои панды с 0.11 до 0.13. 0rc1. Теперь, приложение выскакивает много новых предупреждений. Один из них такой: E:FinReporterFM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame. Try using .loc[row_index,col_indexer] = value instead quote_df['TVol'] = quote_df['TVol']/TVOL_SCALE Я хочу знать, что именно это означает? Нужно ли мне что-то менять? как я должен приостановить предупреждение, если я настаиваю на ис ...