Python缓存技术实现过程详解

2023-08-13 16:46:05 44

一段非常简单代码

普通调用方式

defconsole1(a,b):
print("进入函数")
return(a,b)

print(console1(3,'a'))
print(console1(2,'b'))
print(console1(3.0,'a'))

很简单的一段代码，传入两个参数。然后打印输出。输出结果

进入函数
(3,'a')
进入函数
(2,'b')
进入函数
(3.0,'a')

使用某个装饰器后

接下来我们引入functools模块的lru_cache，python3自带模块。

fromfunctoolsimportlru_cache
@lru_cache()
defconsole2(a,b):
print("进入函数")
return(a,b)
print(console2(3,'a'))
print(console2(2,'b'))
print(console2(3.0,'a'))

ほら、惊喜来了。

进入函数
(3,'a')
进入函数
(2,'b')
(3,'a')

我们发现，少了一次进入函数的打印，这是怎么回事呢？这就是接下来要说的LRU缓存技术了。

我们理解下什么是LRU

LRU(LeastRecentlyUsed)是缓存置换策略中的一种常用的算法。当缓存队列已满时，新的元素加入队列时，需要从现有队列中移除一个元素，LRU策略就是将最近最少被访问的元素移除，从而腾出空间给新的元素。

python中的实现

python3中的functools模块的lru_cache实现了这个功能，lru_cache装饰器会记录以往函数运行的结果，实现了备忘（memoization）功能，避免参数重复时反复调用，达到提高性能的作用，在递归函数中作用特别明显。这是一项优化技术，它把耗时的函数的结果保存起来，避免传入相同的参数时重复计算。

带参数的lru_cache

使用方法lru_cache(maxsize=128,typed=False)maxsize可以缓存最多个此函数的调用结果，从而提高程序执行的效率，特别适合于耗时的函数。参数maxsize为最多缓存的次数，如果为None，则无限制，设置为2的n次幂时，性能最佳；如果typed=True，则不同参数类型的调用将分别缓存，例如f(3)和f(3.0)，默认False来一段综合代码：

fromfunctoolsimportlru_cache

defconsole1(a,b):
print("进入函数")
return(a,b)


@lru_cache()
defconsole2(a,b):
print("进入函数")
return(a,b)


@lru_cache(maxsize=256,typed=True)
defconsole3(a,b):
'''

:parama:
:paramb:
:return:
'''
print("进入函数")
return(a,b)


print(console1(3,'a'))
print(console1(2,'b'))
print(console1(3.0,'a'))
print("*"*40)
print(console2(3,'a'))
print(console2(2,'b'))
print(console2(3.0,'a'))
print("*"*40)
print(console3(3,'a'))
print(console3(2,'b'))
print(console3(3.0,'a'))

同样的可以用到爬虫的去重操作上，避免网页的重复请求。在后期存储的时候做判断即可。

fromfunctoolsimportlru_cache
fromrequests_htmlimportHTMLSession
session=HTMLSession()
@lru_cache()
defget_html(url):
req=session.get(url)
print(url)
returnreq

urllist=["https://www.baidu.com","https://pypi.org/project/pylru/1.0.9/","https://www.baidu.com"]

if__name__=='__main__':
foriinurllist:
print(get_html(i))

输出

https://www.baidu.com

https://pypi.org/project/pylru/1.0.9/

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。

Python缓存技术实现过程详解

热门推荐

随机推荐