Python中的defaultdict模块和namedtuple模块的简单入门指南
在Python中有一些内置的数据类型,比如int,str,list,tuple,dict等。Python的collections模块在这些内置数据类型的基础上,提供了几个额外的数据类型:namedtuple,defaultdict,deque,Counter,OrderedDict等,其中defaultdict和namedtuple是两个很实用的扩展类型。defaultdict继承自dict,namedtuple继承自tuple。
一、defaultdict
1.简介
在使用Python原生的数据结构dict的时候,如果用d[key]这样的方式访问,当指定的key不存在时,是会抛出KeyError异常的。但是,如果使用defaultdict,只要你传入一个默认的工厂方法,那么请求一个不存在的key时,便会调用这个工厂方法使用其结果来作为这个key的默认值。
defaultdict在使用的时候需要传一个工厂函数(function_factory),defaultdict(function_factory)会构建一个类似dict的对象,该对象具有默认值,默认值通过调用工厂函数生成。
2.示例
下面给一个defaultdict的使用示例:
In[1]:fromcollectionsimportdefaultdict In[2]:s=[('xiaoming',99),('wu',69),('zhangsan',80),('lisi',96),('wu',100),('yuan',98),('xiaoming',89)] In[3]:d=defaultdict(list) In[4]:fork,vins: ...:d[k].append(v) ...: In[5]:d Out[5]:defaultdict(<type'list'>,{'lisi':[96],'xiaoming':[99,89],'yuan':[98],'zhangsan':[80],'wu':[69,100]}) In[6]:fork,vind.items(): ...:print'%s:%s'%(k,v) ...: lisi:[96] xiaoming:[99,89] yuan:[98] zhangsan:[80] wu:[69,100]
对Python比较熟悉的同学可以发现defaultdict(list)的用法和dict.setdefault(key,[])比较类似,上述代码使用setdefault实现如下:
s=[('xiaoming',99),('wu',69),('zhangsan',80),('lisi',96),('wu',100),('yuan',98),('xiaoming',89)] d={} fork,vins: d.setdefault(k,[]).append(v)
3.原理
从以上的例子中,我们可以基本了defaultdict的用法,下面我们可以通过help(defaultdict)了解一下defaultdict的原理。通过Pythonconsole打印出的help信息来看,我们可以发现defaultdict具有默认值主要是通过__missing__方法实现的,如果工厂函数不为None,则通过工厂方法返回默认值,具体如下:
def__missing__(self,key): #Calledby__getitem__formissingkey ifself.default_factoryisNone: raiseKeyError((key,)) self[key]=value=self.default_factory() returnvalue
从上面的说明中,我们可以发现一下几个需要注意的地方:
a).__missing__方法是在调用__getitem__方法发现KEY不存在时才调用的,所以,defaultdict也只会在使用d[key]或者d.__getitem__(key)的时候才会生成默认值;如果使用d.get(key)是不会返回默认值的,会出现KeyError;
b).defaultdict主要是通过__missing__方法实现,所以,我们也可以通过实现该方法来生成自己的defaultdict,代码入下:
In[1]:classMyDefaultDict(dict): ...:def__missing__(self,key): ...:self[key]='default' ...:return'default' ...: In[2]:my_default_dict=MyDefaultDict() In[3]:my_default_dict Out[3]:{} In[4]:printmy_default_dict['test'] default In[5]:my_default_dict Out[5]:{'test':'default'}
4.版本
defaultdict是在Python2.5之后才加入的功能,在旧版本的Python中是不支持这个功能的,不过,知道了它的原理,我们可以自己实现一个defaultdict。
#http://code.activestate.com/recipes/523034/ try: fromcollectionsimportdefaultdict except: classdefaultdict(dict): def__init__(self,default_factory=None,*a,**kw): if(default_factoryisnotNoneand nothasattr(default_factory,'__call__')): raiseTypeError('firstargumentmustbecallable') dict.__init__(self,*a,**kw) self.default_factory=default_factory def__getitem__(self,key): try: returndict.__getitem__(self,key) exceptKeyError: returnself.__missing__(key) def__missing__(self,key): ifself.default_factoryisNone: raiseKeyError(key) self[key]=value=self.default_factory() returnvalue def__reduce__(self): ifself.default_factoryisNone: args=tuple() else: args=self.default_factory, returntype(self),args,None,None,self.items() defcopy(self): returnself.__copy__() def__copy__(self): returntype(self)(self.default_factory,self) def__deepcopy__(self,memo): importcopy returntype(self)(self.default_factory,copy.deepcopy(self.items())) def__repr__(self): return'defaultdict(%s,%s)'%(self.default_factory,dict.__repr__(self))
二、namedtuple
namedtuple主要用来产生可以使用名称来访问元素的数据对象,通常用来增强代码的可读性,在访问一些tuple类型的数据时尤其好用。其实,在大部分时候你应该使用namedtuple替代tuple,这样可以让你的代码更容易读懂,更加pythonic。举个例子:
fromcollectionsimportnamedtuple #变量名和namedtuple中的第一个参数一般保持一致,但也可以不一样 Student=namedtuple('Student','idnamescore') #或者Student=namedtuple('Student',['id','name','score']) students=[(1,'Wu',90),(2,'Xing',89),(3,'Yuan',98),(4,'Wang',95)] forsinstudents: stu=Student._make(s) printstu #Output: #Student(id=1,name='Wu',score=90) #Student(id=2,name='Xing',score=89) #Student(id=3,name='Yuan',score=98) #Student(id=4,name='Wang',score=95)
在上面的例子中,Student就是一个namedtuple,它和tuple的使用方法一样,可以通过index直接取,而且是只读的。这种方式比tuple容易理解多了,可以很清楚的知道每个值代表的含义。