使用Python写个小监控

2024-03-22 11:52:05 44

1.入门

首先你得用过C/C++、java、Javascript等的一种，编程小白估计比较艰难，有一定编程经验的python小白相对简单些。

1.1HelloWorld!

Python安装比较简单，到官网上下载安装包，一路下一步就可以了。因为我的服务器上安装的是2.6.6，所以我也下了这个版本。话说2.x的差别不是很大，如果想用3.x，可能下面的代码直接运行不过，不过也差不多，稍微改改即可。
新建一个文件，命名为hello.py。使用python的IDLE打开hello.py，写入以下代码：

print"HelloWorld!"

按F5,就可以看见输出结果了。

1.2基本语法

每一行是一条语句。C语言是通过分号”;“；
通过缩进来组织代码块。C语言是通过大括号”{}“；
注释使用井号”#“。

1.3数据类型、运算符、数据结构

运算符和C语言差不多，C语言有的基本上直接用就可以。
数据类型有数值型，字符串。数据结构有list,tuple,dict,set。介绍一下tuple，不能修改,通过索引进行查找。dict类似于map，存放键值对。来看例子，看看tuple使用：

>>>t=(1,2,[1,2])
>>>t[2]
[1,2]

1.4流程控制

Python中可以使用ifelifelse、for和while来实现流程控制。同样有break和continue。有一点和C不同，如果有一个分支什么都不做，要使用pass。例如

list=[0,1,2,3,4,5]
foriteminlist:
ifitem==1:
printitem
elifitemin(2,3,4,5):
print"aha"+str(item)
else:
pass

运行结果是：
1
aha2
aha3
aha4
aha5

1.5模块组织

有方法和类。

方法这样定义

deffunc(var):
somecodehere

类和C++等有些不同

classMyClass(object):
common=1
def__init__(self):
self.myvariable=5
defmyfunction(self,arg1,arg2):
returnself.myvariable

common变量相当于C++中用static修饰的变量，所有类通用；继承也非常简单，可以看看开始推荐的那篇文章。

1.6异常处理

异常处理非常简单，直接贴代码了：

defsome_function():
try:
#Divisionbyzeroraisesanexception
10/0
exceptZeroDivisionError:
print"Oops,invalid."
else:
#Exceptiondidn'toccur,we'regood.
pass
finally:
#Thisisexecutedafterthecodeblockisrun
#andallexceptionshavebeenhandled,even
#ifanewexceptionisraisedwhilehandling.
print"We'redonewiththat."

1.7工程组织

直接引用库，或者从库中引入某一个方法或变量。

importrandom
fromtimeimportclock

2.数据库查询

既然是监控，免不了和数据库打交道。我使用的是PostgreSQL，所以就介绍一下python怎么调用postgres。

连接postgres首先要安装一个库psycopg2，Windows下直接下载安装即可，注意选对版本。我的服务器是CentOS，安装直接运行

yuminstallpython-psycopg2

就OK了。

2.1首先创建数据库连接

#getdatabaseconnect
defget_con():
host='127.0.0.1'
port="5432"
database='platform'
user='postgres'
password='postgres'
conn=psycopg2.connect(database=database,user=user,password=password,host=host,port=port)
returnconn

2.2执行SQL语句

#执行sql查询
defquery(conn,sql):
cursor=conn.cursor()
cursor.execute(sql)
results=cursor.fetchall()
#closecursor
cursor.close()
returnresults

2.3然后就可以写具体业务了

defgetUsers():
conn=get_con()#openconnect
sql="""select*
fromt_user
orderbyintimeDESC
limit5"""
items=query(conn,sql)
printstr(items)
conn.close()#closeconnect

注意3个引号”””，就是普通字符串，不过可以换行。

3.发送邮件

查询到数据之后不能及时通知管理员的话监控就没有意义了。所以我们通过邮件来通知，直接使用python的标准库smtplib就可以了。写个发送邮件的函数：

#发送邮件
defsend_email(subject,content):
sender="yourmail@***.com"
password="******"#密码是看不见的哦
receivers=[tq8117179#163.com]#本人真实邮箱，欢迎发邮件讨论技术问题
host="smtp.exmail.qq.com"
port=465
msg=MIMEText(content,'html','utf-8')
msg['From']=sender
msg['To']=",".join(receivers)
msg['Subject']=Header(subject,'utf-8')
try:
smtp=smtplib.SMTP_SSL(host,port)
smtp.login(sender,password)
smtp.sendmail(sender,receivers,msg.as_string())
exceptException,e:
logger.error(e)
logger.info(content)

4.日志

发送邮件时我们使用了logger，这个logger是怎么来的呢？新建一个log.py，代码如下

#coding=utf-8
importlogging
importlogging.handlers
logger=logging.getLogger('monitor')
logger.setLevel(logging.DEBUG)
filehandler=logging.handlers.TimedRotatingFileHandler(
"/mnt/log/monitor/monitor_log",'midnight',1,7)
#设置文件后缀名称
filehandler.suffix="%Y%m%d.log"
formatter=logging.Formatter('%(asctime)s-%(name)s-%(levelname)s:%(message)s')
filehandler.setFormatter(formatter)
logger.addHandler(filehandler)
通过logging.getLogger(‘monitor')生成一个logger，然后配置一个文件处理器。
然后在我们监控程序中引用即可：

fromlogimportlogger

5.把可配置信息放到配置文件中

如果我们添加一个管理员怎么办？如果我们的邮箱密码变了怎么办？直接修改python文件啊，哈哈。python不用编译直接改代码就好了，可是我们的程序以后要打包呢，所以最好写个配置文件，python的配置文件读取非常简单，使用python库ConfigParser即可：

config=None
#getconfig
defgetConfig():
globalconfig
ifconfigisNone:
config=ConfigParser.ConfigParser()
config.read("monitor.ini")
returnconfig

然后这样使用：

#getdatabaseconnect
defget_con():
host=getConfig().get('db','host')
port=getConfig().get('db','port')
database=getConfig().get('db','database')
user=getConfig().get('db','user')
password=getConfig().get('db','password')
conn=psycopg2.connect(database=database,user=user,password=password,host=host,port=port)
returnconn
#发送邮件
defsend_email(subject,content):
sender=getConfig().get('mail','sender')
password=getConfig().get('mail','password')
receivers=getConfig().get('mail','receivers').split(",")
host=getConfig().get('mail','host')
port=getConfig().getint('mail','port')
msg=MIMEText(content,'html','utf-8')
msg['From']=sender
msg['To']=",".join(receivers)
msg['Subject']=Header(subject,'utf-8')
try:
smtp=smtplib.SMTP_SSL(host,port)
smtp.login(sender,password)
smtp.sendmail(sender,receivers,msg.as_string())
except:
logger.exception("Exception:")
logger.info(content)

配置文件是monitor.ini，内容如下：

#数据库配置
[db]
host=127.0.0.1
port=5432
database=platform
user=postgres
password=postgres
#邮件配置
[mail]
sender=yourmail@XXX.com
password=******
#多个联系人用英文逗号隔开
receivers=tq8117179#163.com
host=smtp.exmail.qq.com
port=465

6.加点控制

我们每5分钟查一下数据，可是业务sql只能查询最近的几条，所以要加个时间段限制，弄个开始、结束时间。

start_time="2015-10-116:24:24"
end_time=None
#updateend_time,invokebeforegetnewdata
defupdate_end_time():
globalend_time
now=time.mktime(datetime.now().timetuple())
end_time=time.strftime('%Y-%m-%d%H:%M:%S',time.localtime(now))
returnend_time
#updateend_time,invokeaftergetnewdata
defupdate_start_time():
globalstart_time
globalend_time
start_time=end_time
returnstart_time
getUsers可以改写成：

defgetUsers(conn):
globalstart_time
globalend_time
sql="""select*
fromt_user
whereintime>="""+"'"+start_time+"'andintime<"+"'"+end_time+"';"
items=query(conn,sql)
ifitemsisnotNoneandlen(items)>0:
count=len(items)
tip="又有"+str(count)+"个用户已经注册了。"+end_time
send_email(tip,tip+"\n"+str(items))

然后写个统一的调度：

deftask():
#initend_timeandstart_time,mustinitend_timefirst!!!
end_time=update_end_time()
start_time=update_start_time()
#initconfig
getConfig()
whileTrue:
conn=get_con()#openconnect
end_time=update_end_time()
##############process##############
logger.info("query:"+end_time)
getUsers(conn)
#dosometaskelsehere
##end
update_start_time()
conn.close()#closeconnect
time.sleep(5*60)
#endofwhile
defrun_monitor():
monitor=threading.Thread(target=task)
monitor.start()
if__name__=="__main__":
run_monitor()

在task这个函数的while中，首先更新end_time，也就是当前时间；执行完再把start_time更新成刚刚的end_time，这样就不会有漏网之鱼了。还有一个需要注意的地方，关键字global。在python中，使用全局变量是需要global关键字进行声明的，否则会出问题。

7.运行

打开linux控制台，直接运行pythonmonitor.py是可以运行的，可是shell一旦退出，任务也就停止了。于是我就选择了一个进程管理工具：Supervisor。Supervisor在进程中断时还能自动重启。

7.1.安装supervisor

首先安装python-setuptools

yuminstallpython-setuptools

安装supervisor

easy_installsupervisor

生成supervisor配置文件

echo_supervisord_conf>/etc/supervisord.conf

然后在/etc/supervisord.conf添加：

[program:monitor]
command=python/usr/monitor/monitor.py
directory=/usr/monitor
user=root

7.2.运行监控

然后在终端中运行supervisord启动supervisor。
在终端中运行supervisorctl，进入shell，运行status查看脚本的运行状态。

7.3.关闭监控以及常用命令

以下命令全部在supervisorctl的shell中执行。

shutdown停止Supervisor(子进程也会被停止)；
startmonitor开启monitor进程服务（一旦monitor进程退出，会自启动）；
stopmonitor关闭monitor进程服务；
restartmonitor关闭正在运行的monitor进程，并且重新启动monitor进程服务；
reload重新加载supervisor配置文件；
exit退出supervisorctl的shell。

程序基本上就写完了，也可以跑起来了，是不是很酷，大家快点动手实践一下吧！

使用Python写个小监控

热门推荐

随机推荐