Как получить текущий процессор и оперативную память в Python?
каков ваш предпочтительный способ получения текущего состояния системы (текущий процессор, оперативная память, свободное место на диске и т. д.) в Python? Бонусные баллы для платформ * nix и Windows.
кажется, есть несколько возможных способов извлечь это из моего поиска:
использование библиотеки, такой как PSI (который в настоящее время, кажется, не активно развивается и не поддерживается на нескольких платформах) или что-то вроде pystatgrab (опять никакой активности с тех пор 2007 кажется и нет поддержки Windows).
использование специфичного для платформы кода, например, с помощью
os.popen("ps")или аналогичный для систем *nix иMEMORYSTATUSinctypes.windll.kernel32(см. этот рецепт на ActiveState) для платформы Windows. Можно было бы поместить класс Python вместе со всеми этими фрагментами кода.
это не то, что эти методы плохи, но есть ли уже хорошо поддерживаемый, многоплатформенный способ сделать то же самое?
11 ответов:
библиотека psutil даст вам некоторую системную информацию (использование процессора / памяти) на различных платформах:
psutil-это модуль, предоставляющий интерфейс для извлечения информации о запущенных процессах и использовании системы (CPU, память) портативным способом с помощью Python, реализующий многие функции, предлагаемые такими инструментами, как ps, top и Windows task manager.
в настоящее время он поддерживает Linux, Windows, OSX, Sun Solaris, FreeBSD, OpenBSD и NetBSD, как 32-разрядные, так и 64-разрядные архитектуры, с версиями Python от 2.6 до 3.5 (пользователи Python 2.4 и 2.5 могут использовать версию 2.1.3).
использовать библиотека psutil. Для меня на Ubuntu, pip установлен 0.4.3. Вы можете проверить свою версию psutil, сделав это в Python:
from __future__ import print_function import psutil print(psutil.__version__)чтобы получить некоторые характеристики памяти и процессора:
from __future__ import print_function import psutil print(psutil.cpu_percent()) print(psutil.virtual_memory()) # physical memory usageмне тоже нравится это делать:
import os import psutil pid = os.getpid() py = psutil.Process(pid) memoryUse = py.memory_info()[0]/2.**30 # memory use in GB...I think print('memory use:', memoryUse)что дает текущее использование памяти вашего скрипта Python.
есть еще несколько подробных примеров на pypi страница для 4.3.0 и 0.5.0.
для Ubuntu 16 и 14, установка из pip дала мне версию 4.3.0, которая не имеет метода phymem_usage (). Чтобы получить 0.5.0, вы можете сделать
pip install psutil==0.5.0или скачать tar.файл GZ, то лиtar -xvzf psutil-0.5.0.tar.gz cd psutil-0.5.0 sudo python setup.py install
ниже кодов, без внешних библиотек работал для меня. Я тестировал на Python 2.7.9
загрузка ЦП
import os CPU_Pct=str(round(float(os.popen('''grep 'cpu ' /proc/stat | awk '{usage=(+)*100/(++)} END {print usage }' ''').readline()),2)) #print results print("CPU Usage = " + CPU_Pct)и использование ОЗУ, всего, используется и бесплатно
import os mem=str(os.popen('free -t -m').readlines()) """ Get a whole line of memory output, it will be something like below [' total used free shared buffers cached\n', 'Mem: 925 591 334 14 30 355\n', '-/+ buffers/cache: 205 719\n', 'Swap: 99 0 99\n', 'Total: 1025 591 434\n'] So, we need total memory, usage and free memory. We should find the index of capital T which is unique at this string """ T_ind=mem.index('T') """ Than, we can recreate the string with this information. After T we have, "Total: " which has 14 characters, so we can start from index of T +14 and last 4 characters are also not necessary. We can create a new sub-string using this information """ mem_G=mem[T_ind+14:-4] """ The result will be like 1025 603 422 we need to find first index of the first space, and we can start our substring from from 0 to this index number, this will give us the string of total memory """ S1_ind=mem_G.index(' ') mem_T=mem_G[0:S1_ind] """ Similarly we will create a new sub-string, which will start at the second value. The resulting string will be like 603 422 Again, we should find the index of first space and than the take the Used Memory and Free memory. """ mem_G1=mem_G[S1_ind+8:] S2_ind=mem_G1.index(' ') mem_U=mem_G1[0:S2_ind] mem_F=mem_G1[S2_ind+8:] print 'Summary = ' + mem_G print 'Total Memory = ' + mem_T +' MB' print 'Used Memory = ' + mem_U +' MB' print 'Free Memory = ' + mem_F +' MB'
один лайнер для использования ОЗУ только с зависимостью stdlib:
import os tot_m, used_m, free_m = map(int, os.popen('free -t -m').readlines()[-1].split()[1:])
вот что я собрал некоторое время назад, это только windows, но может помочь вам получить часть того, что вам нужно сделать.
производные от: "для того доступна мем" http://msdn2.microsoft.com/en-us/library/aa455130.aspx
" индивидуальная информация о процессе и примеры скриптов python" http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true
Примечание: интерфейс/процесс WMI также доступен для выполнения схожие задачи Я не использую его здесь, потому что текущий метод покрывает мои потребности, но если когда-нибудь это необходимо расширить или улучшить, то, возможно, потребуется исследовать инструменты WMI, доступные.
WMI для python:
http://tgolden.sc.sabren.com/python/wmi.html
код:
''' Monitor window processes derived from: >for sys available mem http://msdn2.microsoft.com/en-us/library/aa455130.aspx > individual process information and python script examples http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true NOTE: the WMI interface/process is also available for performing similar tasks I'm not using it here because the current method covers my needs, but if someday it's needed to extend or improve this module, then may want to investigate the WMI tools available. WMI for python: http://tgolden.sc.sabren.com/python/wmi.html ''' __revision__ = 3 import win32com.client from ctypes import * from ctypes.wintypes import * import pythoncom import pywintypes import datetime class MEMORYSTATUS(Structure): _fields_ = [ ('dwLength', DWORD), ('dwMemoryLoad', DWORD), ('dwTotalPhys', DWORD), ('dwAvailPhys', DWORD), ('dwTotalPageFile', DWORD), ('dwAvailPageFile', DWORD), ('dwTotalVirtual', DWORD), ('dwAvailVirtual', DWORD), ] def winmem(): x = MEMORYSTATUS() # create the structure windll.kernel32.GlobalMemoryStatus(byref(x)) # from cytypes.wintypes return x class process_stats: '''process_stats is able to provide counters of (all?) the items available in perfmon. Refer to the self.supported_types keys for the currently supported 'Performance Objects' To add logging support for other data you can derive the necessary data from perfmon: --------- perfmon can be run from windows 'run' menu by entering 'perfmon' and enter. Clicking on the '+' will open the 'add counters' menu, From the 'Add Counters' dialog, the 'Performance object' is the self.support_types key. --> Where spaces are removed and symbols are entered as text (Ex. # == Number, % == Percent) For the items you wish to log add the proper attribute name in the list in the self.supported_types dictionary, keyed by the 'Performance Object' name as mentioned above. --------- NOTE: The 'NETFramework_NETCLRMemory' key does not seem to log dotnet 2.0 properly. Initially the python implementation was derived from: http://www.microsoft.com/technet/scriptcenter/scripts/default.mspx?mfr=true ''' def __init__(self,process_name_list=[],perf_object_list=[],filter_list=[]): '''process_names_list == the list of all processes to log (if empty log all) perf_object_list == list of process counters to log filter_list == list of text to filter print_results == boolean, output to stdout ''' pythoncom.CoInitialize() # Needed when run by the same process in a thread self.process_name_list = process_name_list self.perf_object_list = perf_object_list self.filter_list = filter_list self.win32_perf_base = 'Win32_PerfFormattedData_' # Define new datatypes here! self.supported_types = { 'NETFramework_NETCLRMemory': [ 'Name', 'NumberTotalCommittedBytes', 'NumberTotalReservedBytes', 'NumberInducedGC', 'NumberGen0Collections', 'NumberGen1Collections', 'NumberGen2Collections', 'PromotedMemoryFromGen0', 'PromotedMemoryFromGen1', 'PercentTimeInGC', 'LargeObjectHeapSize' ], 'PerfProc_Process': [ 'Name', 'PrivateBytes', 'ElapsedTime', 'IDProcess',# pid 'Caption', 'CreatingProcessID', 'Description', 'IODataBytesPersec', 'IODataOperationsPersec', 'IOOtherBytesPersec', 'IOOtherOperationsPersec', 'IOReadBytesPersec', 'IOReadOperationsPersec', 'IOWriteBytesPersec', 'IOWriteOperationsPersec' ] } def get_pid_stats(self, pid): this_proc_dict = {} pythoncom.CoInitialize() # Needed when run by the same process in a thread if not self.perf_object_list: perf_object_list = self.supported_types.keys() for counter_type in perf_object_list: strComputer = "." objWMIService = win32com.client.Dispatch("WbemScripting.SWbemLocator") objSWbemServices = objWMIService.ConnectServer(strComputer,"root\cimv2") query_str = '''Select * from %s%s''' % (self.win32_perf_base,counter_type) colItems = objSWbemServices.ExecQuery(query_str) # "Select * from Win32_PerfFormattedData_PerfProc_Process")# changed from Win32_Thread if len(colItems) > 0: for objItem in colItems: if hasattr(objItem, 'IDProcess') and pid == objItem.IDProcess: for attribute in self.supported_types[counter_type]: eval_str = 'objItem.%s' % (attribute) this_proc_dict[attribute] = eval(eval_str) this_proc_dict['TimeStamp'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.') + str(datetime.datetime.now().microsecond)[:3] break return this_proc_dict def get_stats(self): ''' Show process stats for all processes in given list, if none given return all processes If filter list is defined return only the items that match or contained in the list Returns a list of result dictionaries ''' pythoncom.CoInitialize() # Needed when run by the same process in a thread proc_results_list = [] if not self.perf_object_list: perf_object_list = self.supported_types.keys() for counter_type in perf_object_list: strComputer = "." objWMIService = win32com.client.Dispatch("WbemScripting.SWbemLocator") objSWbemServices = objWMIService.ConnectServer(strComputer,"root\cimv2") query_str = '''Select * from %s%s''' % (self.win32_perf_base,counter_type) colItems = objSWbemServices.ExecQuery(query_str) # "Select * from Win32_PerfFormattedData_PerfProc_Process")# changed from Win32_Thread try: if len(colItems) > 0: for objItem in colItems: found_flag = False this_proc_dict = {} if not self.process_name_list: found_flag = True else: # Check if process name is in the process name list, allow print if it is for proc_name in self.process_name_list: obj_name = objItem.Name if proc_name.lower() in obj_name.lower(): # will log if contains name found_flag = True break if found_flag: for attribute in self.supported_types[counter_type]: eval_str = 'objItem.%s' % (attribute) this_proc_dict[attribute] = eval(eval_str) this_proc_dict['TimeStamp'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.') + str(datetime.datetime.now().microsecond)[:3] proc_results_list.append(this_proc_dict) except pywintypes.com_error, err_msg: # Ignore and continue (proc_mem_logger calls this function once per second) continue return proc_results_list def get_sys_stats(): ''' Returns a dictionary of the system stats''' pythoncom.CoInitialize() # Needed when run by the same process in a thread x = winmem() sys_dict = { 'dwAvailPhys': x.dwAvailPhys, 'dwAvailVirtual':x.dwAvailVirtual } return sys_dict if __name__ == '__main__': # This area used for testing only sys_dict = get_sys_stats() stats_processor = process_stats(process_name_list=['process2watch'],perf_object_list=[],filter_list=[]) proc_results = stats_processor.get_stats() for result_dict in proc_results: print result_dict import os this_pid = os.getpid() this_proc_results = stats_processor.get_pid_stats(this_pid) print 'this proc results:' print this_proc_resultshttp://monkut.webfactional.com/blog/archive/2009/1/21/windows-process-memory-logging-python
"... текущее состояние системы (текущий процессор, оперативная память, свободное место на диске и т. д.) "И" *Nix и платформы Windows " могут быть трудной комбинацией для достижения.
операционные системы принципиально отличаются тем, как они управляют этими ресурсами. Действительно, они различаются по основным понятиям, таким как определение того, что считается системой и что считается временем приложения.
"свободное место на диске"? Что считается " дисковое пространство?"Все разделы всех устройств? А как же иностранцы разделы в среде с несколькими загрузками?
Я не думаю, что есть достаточно ясный консенсус между Windows и *nix, что делает это возможным. Действительно, может даже не быть никакого консенсуса между различными операционными системами, называемыми Windows. Есть ли один API Windows, который работает как для XP, так и для Vista?
Я чувствую, что эти ответы были написаны для Python 2, и в любом случае никто не упоминал о стандарте
resourceпакет, который доступен для Python 3. Он предоставляет команды для получения ресурса ограничения данного процесса (вызывающий процесс Python по умолчанию). Это не то же самое, что получить текущий использование ресурсов системой в целом, но она может решить некоторые из тех же проблем, например: "я хочу убедиться, что я только используйте X много ОЗУ с этим скриптом."
вы можете использовать psutil или psmem с подпроцессом пример кода
import subprocess cmd = subprocess.Popen(['sudo','./ps_mem'],stdout=subprocess.PIPE,stderr=subprocess.PIPE) out,error = cmd.communicate() memory = out.splitlines()Ссылка http://techarena51.com/index.php/how-to-install-python-3-and-flask-on-linux/
мы решили использовать обычный источник информации для этого, потому что мы могли бы найти мгновенные колебания в свободной памяти и чувствовал запрос meminfo источник данных был полезным. Это также помогло нам получить несколько связанных параметров, которые были предварительно разобраны.
код
import os .... memory_usage = os.popen("cat /proc/meminfo").read()вывод Для справки (мы убрали все новые строки для дальнейшего анализа)
MemTotal: 1014500 kB MemFree: 562680 kB MemAvailable: 646364 КБ Буферы: 15144 КБ кэшированный: 210720 КБ SwapCached: 0 КБ активный: 261476 КБ Неактивный: 128888 КБ активный (Анон): 167092 КБ неактивный (Анон): 20888 КБ Активный(файл): 94384 КБ не активен(файл): 108000 КБ удаления и недоступные для удаления: 3652 КБ Mlocked: 3652 kB SwapTotal: 0 kB SwapFree: 0 kB Dirty: 0 kB обратная запись: 0 kB AnonPages: 168160 kB отображено: 81352 kB Shmem: 21060 kB плита: 34492 kB SReclaimable: 18044 kB SUnreclaim: 16448 kB KernelStack: 2672 kB PageTables: 8180 kB NFS_Unstable: 0 kB Отказов: 0 КБ WritebackTmp: 0 КБ Committlimit: 507248 kB Committed_AS: 1038756 kB VmallocTotal: 34359738367 КБ VmallocUsed: 0 КБ VmallocChunk: 0 КБ HardwareCorrupted: 0 kB AnonHugePages: 88064 kB CmaTotal: 0 kB CmaFree: 0 kB HugePages_Total: 0 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 2048 kB DirectMap4k: 43008 kB DirectMap2M: 1005568 kB
этот скрипт для использования ЦП:
import os def get_cpu_load(): """ Returns a list CPU Loads""" result = [] cmd = "WMIC CPU GET LoadPercentage " response = os.popen(cmd + ' 2>&1','r').read().strip().split("\r\n") for load in response[1:]: result.append(int(load)) return result if __name__ == '__main__': print get_cpu_load()
Я не верю, что существует хорошо поддерживаемая мультиплатформенная библиотека. Помните, что сам Python написан на C, поэтому любая библиотека просто собирается принять разумное решение о том, какой фрагмент кода для конкретной ОС будет запущен, как вы предлагали выше.
Comments