详解Python中with语句的用法

2024-04-02 02:49:03 35

引言

with语句是从Python2.5开始引入的一种与异常处理相关的功能（2.5版本中要通过from__future__importwith_statement导入后才可以使用），从2.6版本开始缺省可用（参考What'snewinPython2.6?中with语句相关部分介绍）。with语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭、线程中锁的自动获取和释放等。

术语

要使用with语句，首先要明白上下文管理器这一概念。有了上下文管理器，with语句才能工作。

下面是一组与上下文管理器和with语句有关的概念。

上下文管理协议（ContextManagementProtocol）：包含方法__enter__()和__exit__()，支持

该协议的对象要实现这两个方法。

上下文管理器（ContextManager）：支持上下文管理协议的对象，这种对象实现了

__enter__()和__exit__()方法。上下文管理器定义执行with语句时要建立的运行时上下文，

负责执行with语句块上下文中的进入与退出操作。通常使用with语句调用上下文管理器，

也可以通过直接调用其方法来使用。

运行时上下文（runtimecontext）：由上下文管理器创建，通过上下文管理器的__enter__()和

__exit__()方法实现，__enter__()方法在语句体执行之前进入运行时上下文，__exit__()在

语句体执行完后从运行时上下文退出。with语句支持运行时上下文这一概念。

上下文表达式（ContextExpression）：with语句中跟在关键字with之后的表达式，该表达式

要返回一个上下文管理器对象。

语句体（with-body）：with语句包裹起来的代码块，在执行语句体之前会调用上下文管

理器的__enter__()方法，执行完语句体之后会执行__exit__()方法。

基本语法和工作原理

with语句的语法格式如下：
清单1.with语句的语法格式

withcontext_expression[astarget(s)]:
with-body

这里context_expression要返回一个上下文管理器对象，该对象并不赋值给as子句中的target(s)，如果指定了as子句的话，会将上下文管理器的__enter__()方法的返回值赋值给target(s)。target(s)可以是单个变量，或者由“()”括起来的元组（不能是仅仅由“,”分隔的变量列表，必须加“()”）。

Python对一些内建对象进行改进，加入了对上下文管理器的支持，可以用于with语句中，比如可以自动关闭文件、线程锁的自动获取和释放等。假设要对一个文件进行操作，使用with语句可以有如下代码：
清单2.使用with语句操作文件对象

withopen(r'somefileName')assomefile:
forlineinsomefile:
printline
#...morecode

这里使用了with语句，不管在处理文件过程中是否发生异常，都能保证with语句执行完毕后已经关闭了打开的文件句柄。如果使用传统的try/finally范式，则要使用类似如下代码：
清单3.try/finally方式操作文件对象

somefile=open(r'somefileName')
try:
forlineinsomefile:
printline
#...morecode
finally:
somefile.close()

比较起来，使用with语句可以减少编码量。已经加入对上下文管理协议支持的还有模块threading、decimal等。

PEP0343对with语句的实现进行了描述。with语句的执行过程类似如下代码块：
清单4.with语句执行过程

context_manager=context_expression
exit=type(context_manager).__exit__
value=type(context_manager).__enter__(context_manager)
exc=True#True表示正常执行，即便有异常也忽略；False表示重新抛出异常，需要对异常进行处理
try:
try:
target=value#如果使用了as子句
with-body#执行with-body
except:
#执行过程中有异常发生
exc=False
#如果__exit__返回True，则异常被忽略；如果返回False，则重新抛出异常
#由外层代码对异常进行处理
ifnotexit(context_manager,*sys.exc_info()):
raise
finally:
#正常退出，或者通过statement-body中的break/continue/return语句退出
#或者忽略异常退出
ifexc:
exit(context_manager,None,None,None)
#缺省返回None，None在布尔上下文中看做是False

执行context_expression，生成上下文管理器context_manager
调用上下文管理器的__enter__()方法；如果使用了as子句，则将__enter__()方法的返回值赋值给as子句中的target(s)
执行语句体with-body
不管是否执行过程中是否发生了异常，执行上下文管理器的__exit__()方法，__exit__()方法负责执行“清理”工作，如释放资源等。如果执行过程中没有出现异常，或者语句体中执行了语句break/continue/return，则以None作为参数调用__exit__(None,None,None)；如果执行过程中出现异常，则使用sys.exc_info得到的异常信息为参数调用__exit__(exc_type,exc_value,exc_traceback)
出现异常时，如果__exit__(type,value,traceback)返回False，则会重新抛出异常，让with之外的语句逻辑来处理异常，这也是通用做法；如果返回True，则忽略异常，不再对异常进行处理

自定义上下文管理器

开发人员可以自定义支持上下文管理协议的类。自定义的上下文管理器要实现上下文管理协议所需要的__enter__()和__exit__()两个方法：

context_manager.__enter__()：进入上下文管理器的运行时上下文，在语句体执行前调用。with语句将该方法的返回值赋值给as子句中的target，如果指定了as子句的话
context_manager.__exit__(exc_type,exc_value,exc_traceback)：退出与上下文管理器相关的运行时上下文，返回一个布尔值表示是否对发生的异常进行处理。参数表示引起退出操作的异常，如果退出时没有发生异常，则3个参数都为None。如果发生异常，返回

True表示不处理异常，否则会在退出该方法后重新抛出异常以由with语句之外的代码逻辑进行处理。如果该方法内部产生异常，则会取代由statement-body中语句产生的异常。要处理异常时，不要显示重新抛出异常，即不能重新抛出通过参数传递进来的异常，只需要将返回值设置为False就可以了。之后，上下文管理代码会检测是否__exit__()失败来处理异常

下面通过一个简单的示例来演示如何构建自定义的上下文管理器。注意，上下文管理器必须同时提供__enter__()和__exit__()方法的定义，缺少任何一个都会导致AttributeError；with语句会先检查是否提供了__exit__()方法，然后检查是否定义了__enter__()方法。

假设有一个资源DummyResource，这种资源需要在访问前先分配，使用完后再释放掉；分配操作可以放到__enter__()方法中，释放操作可以放到__exit__()方法中。简单起见，这里只通过打印语句来表明当前的操作，并没有实际的资源分配与释放。
清单5.自定义支持with语句的对象

classDummyResource:
def__init__(self,tag):
self.tag=tag
print'Resource[%s]'%tag
def__enter__(self):
print'[Enter%s]:Allocateresource.'%self.tag
returnself#可以返回不同的对象
def__exit__(self,exc_type,exc_value,exc_tb):
print'[Exit%s]:Freeresource.'%self.tag
ifexc_tbisNone:
print'[Exit%s]:Exitedwithoutexception.'%self.tag
else:
print'[Exit%s]:Exitedwithexceptionraised.'%self.tag
returnFalse#可以省略，缺省的None也是被看做是False

DummyResource中的__enter__()返回的是自身的引用，这个引用可以赋值给as子句中的target变量；返回值的类型可以根据实际需要设置为不同的类型，不必是上下文管理器对象本身。

__exit__()方法中对变量exc_tb进行检测，如果不为None，表示发生了异常，返回False表示需要由外部代码逻辑对异常进行处理；注意到如果没有发生异常，缺省的返回值为None，在布尔环境中也是被看做False，但是由于没有异常发生，__exit__()的三个参数都为None，上下文管理代码可以检测这种情况，做正常处理。

下面在with语句中访问DummyResource：
清单6.使用自定义的支持with语句的对象

withDummyResource('Normal'):
print'[with-body]Runwithoutexceptions.'

withDummyResource('With-Exception'):
print'[with-body]Runwithexception.'
raiseException
print'[with-body]Runwithexception.Failedtofinishstatement-body!'

第1个with语句的执行结果如下：
清单7.with语句1执行结果

Resource[Normal]
[EnterNormal]:Allocateresource.
[with-body]Runwithoutexceptions.
[ExitNormal]:Freeresource.
[ExitNormal]:Exitedwithoutexception.

可以看到，正常执行时会先执行完语句体with-body，然后执行__exit__()方法释放资源。

第2个with语句的执行结果如下：
清单8.with语句2执行结果

Resource[With-Exception]
[EnterWith-Exception]:Allocateresource.
[with-body]Runwithexception.
[ExitWith-Exception]:Freeresource.
[ExitWith-Exception]:Exitedwithexceptionraised.

Traceback(mostrecentcalllast):
File"G:/demo",line20,in<module>
raiseException
Exception

可以看到，with-body中发生异常时with-body并没有执行完，但资源会保证被释放掉，同时产生的异常由with语句之外的代码逻辑来捕获处理。

可以自定义上下文管理器来对软件系统中的资源进行管理，比如数据库连接、共享资源的访问控制等。Python在线文档WritingContextManagers提供了一个针对数据库连接进行管理的上下文管理器的简单范例。

contextlib模块

contextlib模块提供了3个对象：装饰器contextmanager、函数nested和上下文管理器closing。使用这些对象，可以对已有的生成器函数或者对象进行包装，加入对上下文管理协议的支持，避免了专门编写上下文管理器来支持with语句。
装饰器contextmanager

contextmanager用于对生成器函数进行装饰，生成器函数被装饰以后，返回的是一个上下文管理器，其__enter__()和__exit__()方法由contextmanager负责提供，而不再是之前的迭代子。被装饰的生成器函数只能产生一个值，否则会导致异常RuntimeError；产生的值会赋值给as子句中的target，如果使用了as子句的话。下面看一个简单的例子。
清单9.装饰器contextmanager使用示例

fromcontextlibimportcontextmanager

@contextmanager
defdemo():
print'[Allocateresources]'
print'Codebeforeyield-statementexecutesin__enter__'
yield'***contextmanagerdemo***'
print'Codeafteryield-statementexecutesin__exit__'
print'[Freeresources]'

withdemo()asvalue:
print'AssignedValue:%s'%value

结果输出如下：
清单10.contextmanager使用示例执行结果

[Allocateresources]
Codebeforeyield-statementexecutesin__enter__
AssignedValue:***contextmanagerdemo***
Codeafteryield-statementexecutesin__exit__
[Freeresources]

可以看到，生成器函数中yield之前的语句在__enter__()方法中执行，yield之后的语句在__exit__()中执行，而yield产生的值赋给了as子句中的value变量。

需要注意的是，contextmanager只是省略了__enter__()/__exit__()的编写，但并不负责实现资源的“获取”和“清理”工作；“获取”操作需要定义在yield语句之前，“清理”操作需要定义yield语句之后，这样with语句在执行__enter__()/__exit__()方法时会执行这些语句以获取/释放资源，即生成器函数中需要实现必要的逻辑控制，包括资源访问出现错误时抛出适当的异常。
函数nested

nested可以将多个上下文管理器组织在一起，避免使用嵌套with语句。
清单11.nested语法

withnested(A(),B(),C())as(X,Y,Z):
#with-bodycodehere

类似于：
清单12.nested执行过程

withA()asX:
withB()asY:
withC()asZ:
#with-bodycodehere

需要注意的是，发生异常后，如果某个上下文管理器的__exit__()方法对异常处理返回False，则更外层的上下文管理器不会监测到异常。
上下文管理器closing

closing的实现如下：
清单13.上下文管理closing实现

classclosing(object):
#helpdochere
def__init__(self,thing):
self.thing=thing
def__enter__(self):
returnself.thing
def__exit__(self,*exc_info):
self.thing.close()

上下文管理器会将包装的对象赋值给as子句的target变量，同时保证打开的对象在with-body执行完后会关闭掉。closing上下文管理器包装起来的对象必须提供close()方法的定义，否则执行时会报AttributeError错误。
清单14.自定义支持closing的对象

classClosingDemo(object):
def__init__(self):
self.acquire()
defacquire(self):
print'Acquireresources.'
deffree(self):
print'Cleanupanyresourcesacquired.'
defclose(self):
self.free()

withclosing(ClosingDemo()):
print'Usingresources'

结果输出如下：
清单15.自定义closing对象的输出结果

Acquireresources.
Usingresources
Cleanupanyresourcesacquired.

closing适用于提供了close()实现的对象，比如网络连接、数据库连接等，也可以在自定义类时通过接口close()来执行所需要的资源“清理”工作。

详解Python中with语句的用法

热门推荐

随机推荐