tensorflow使用指定gpu的方法

2023-08-02 09:44:04 77

TensorFlow是一个基于数据流编程（dataflowprogramming）的符号数学系统，被广泛应用于各类机器学习（machinelearning）算法的编程实现，其前身是谷歌的神经网络算法库DistBelief[1] 。
Tensorflow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究。

TensorFlow由谷歌人工智能团队谷歌大脑（GoogleBrain）开发和维护，拥有包括TensorFlowHub、TensorFlowLite、TensorFlowResearchCloud在内的多个项目以及各类应用程序接口（ApplicationProgrammingInterface,API）。自2015年11月9日起，TensorFlow依据阿帕奇授权协议（Apache2.0opensourcelicense）开放源代码。

持续监控GPU使用情况命令：

$watch-n10nvidia-smi

一、指定使用某个显卡

如果机器中有多块GPU，tensorflow会默认吃掉所有能用的显存，如果实验室多人公用一台服务器，希望指定使用特定某块GPU。
可以在文件开头加入如下代码：

importos
os.environ["CUDA_DEVICE_ORDER"]="PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"]="1"#使用第二块GPU（从0开始）

也可以制定使用某几块GPU

importos
os.environ["CUDA_DEVICE_ORDER"]="PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"]="0,2"#使用第一,三块GPU

禁用GPU

importos
os.environ["CUDA_VISIBLE_DEVICES"]="-1"

支持的设备

在一套标准系统中通常有多台计算设备。TensorFlow支持CPU和GPU这两种设备。它们均用strings表示。例如：

"/cpu:0"：机器的CPU。
"/device:GPU:0"：机器的GPU（如果有一个）。
"/device:GPU:1"：机器的第二个GPU（以此类推）。

如果TensorFlow指令中兼有CPU和GPU实现，当该指令分配到设备时，GPU设备有优先权。例如，如果matmul同时存在CPU和GPU核函数，在同时有cpu:0和gpu:0设备的系统中，gpu:0会被选来运行matmul。

记录设备分配方式

要找出您的指令和张量被分配到哪个设备，请创建会话并将log_device_placement配置选项设为True。

#Createsagraph.
a=tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape=[2,3],name='a')
b=tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape=[3,2],name='b')
c=tf.matmul(a,b)
#Createsasessionwithlog_device_placementsettoTrue.
sess=tf.Session(config=tf.ConfigProto(log_device_placement=True))
#Runstheop.
print(sess.run(c))

应该会看到以下输出内容：

Devicemapping:
/job:localhost/replica:0/task:0/device:GPU:0->device:0,name:TeslaK40c,pcibus
id:0000:05:00.0
b:/job:localhost/replica:0/task:0/device:GPU:0
a:/job:localhost/replica:0/task:0/device:GPU:0
MatMul:/job:localhost/replica:0/task:0/device:GPU:0
[[22.28.]
[49.64.]]

手动分配设备

如果您希望特定指令在您选择的设备（而非系统自动为您选择的设备）上运行，您可以使用withtf.device创建设备上下文，这个上下文中的所有指令都将被分配在同一个设备上运行。

#Createsagraph.
withtf.device('/cpu:0'):
a=tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape=[2,3],name='a')
b=tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape=[3,2],name='b')
c=tf.matmul(a,b)
#Createsasessionwithlog_device_placementsettoTrue.
sess=tf.Session(config=tf.ConfigProto(log_device_placement=True))
#Runstheop.
print(sess.run(c))

您会看到现在a和b被分配到cpu:0。由于未明确指定运行MatMul指令的设备，因此TensorFlow运行时将根据指令和可用设备（此示例中的gpu:0）选择一个设备，并会根据要求自动复制设备间的张量。

Devicemapping:
/job:localhost/replica:0/task:0/device:GPU:0->device:0,name:TeslaK40c,pcibus
id:0000:05:00.0
b:/job:localhost/replica:0/task:0/cpu:0
a:/job:localhost/replica:0/task:0/cpu:0
MatMul:/job:localhost/replica:0/task:0/device:GPU:0
[[22.28.]
[49.64.]]

允许增加GPU内存

默认情况下，TensorFlow会映射进程可见的所有GPU的几乎所有GPU内存（取决于CUDA_VISIBLE_DEVICES）。通过减少内存碎片，可以更有效地使用设备上相对宝贵的GPU内存资源。

在某些情况下，最理想的是进程只分配可用内存的一个子集，或者仅根据进程需要增加内存使用量。TensorFlow在Session上提供两个Config选项来进行控制。

第一个是allow_growth选项，它试图根据运行时的需要来分配GPU内存：它刚开始分配很少的内存，随着Session开始运行并需要更多GPU内存，我们会扩展TensorFlow进程所需的GPU内存区域。请注意，我们不会释放内存，因为这可能导致出现更严重的内存碎片情况。要开启此选项，请通过以下方式在ConfigProto中设置选项：

config=tf.ConfigProto()
config.gpu_options.allow_growth=True
session=tf.Session(config=config,...)

第二个是per_process_gpu_memory_fraction选项，它可以决定每个可见GPU应分配到的内存占总内存量的比例。例如，您可以通过以下方式指定TensorFlow仅分配每个GPU总内存的40%：

config=tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction=0.4
session=tf.Session(config=config,...)

如要真正限制TensorFlow进程可使用的GPU内存量，这非常实用。

在多GPU系统中使用单一GPU
如果您的系统中有多个GPU，则默认情况下将选择ID最小的GPU。如果您希望在其他GPU上运行，则需要显式指定偏好设置：

#Createsagraph.
withtf.device('/device:GPU:2'):
a=tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape=[2,3],name='a')
b=tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape=[3,2],name='b')
c=tf.matmul(a,b)
#Createsasessionwithlog_device_placementsettoTrue.
sess=tf.Session(config=tf.ConfigProto(log_device_placement=True))
#Runstheop.
print(sess.run(c))

如果您指定的设备不存在，您会看到InvalidArgumentError：

InvalidArgumentError:Invalidargument:Cannotassignadevicetonode'b':
Couldnotsatisfyexplicitdevicespecification'/device:GPU:2'
[[Node:b=Const[dtype=DT_FLOAT,value=Tensor,_device="/device:GPU:2"]()]]

当指定设备不存在时，如果您希望TensorFlow自动选择现有的受支持设备来运行指令，则可以在创建会话时将配置选项中的allow_soft_placement设为True。

#Createsagraph.
withtf.device('/device:GPU:2'):
a=tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape=[2,3],name='a')
b=tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape=[3,2],name='b')
c=tf.matmul(a,b)
#Createsasessionwithallow_soft_placementandlog_device_placementset
#toTrue.
sess=tf.Session(config=tf.ConfigProto(
allow_soft_placement=True,log_device_placement=True))
#Runstheop.
print(sess.run(c))

使用多个GPU

如果您想要在多个GPU上运行TensorFlow，则可以采用多塔式方式构建模型，其中每个塔都会分配给不同GPU。例如：

#Createsagraph.
c=[]
fordin['/device:GPU:2','/device:GPU:3']:
withtf.device(d):
a=tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape=[2,3])
b=tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape=[3,2])
c.append(tf.matmul(a,b))
withtf.device('/cpu:0'):
sum=tf.add_n(c)
#Createsasessionwithlog_device_placementsettoTrue.
sess=tf.Session(config=tf.ConfigProto(log_device_placement=True))
#Runstheop.
print(sess.run(sum))

您会看到以下输出内容：

Devicemapping:
/job:localhost/replica:0/task:0/device:GPU:0->device:0,name:TeslaK20m,pcibus
id:0000:02:00.0
/job:localhost/replica:0/task:0/device:GPU:1->device:1,name:TeslaK20m,pcibus
id:0000:03:00.0
/job:localhost/replica:0/task:0/device:GPU:2->device:2,name:TeslaK20m,pcibus
id:0000:83:00.0
/job:localhost/replica:0/task:0/device:GPU:3->device:3,name:TeslaK20m,pcibus
id:0000:84:00.0
Const_3:/job:localhost/replica:0/task:0/device:GPU:3
Const_2:/job:localhost/replica:0/task:0/device:GPU:3
MatMul_1:/job:localhost/replica:0/task:0/device:GPU:3
Const_1:/job:localhost/replica:0/task:0/device:GPU:2
Const:/job:localhost/replica:0/task:0/device:GPU:2
MatMul:/job:localhost/replica:0/task:0/device:GPU:2
AddN:/job:localhost/replica:0/task:0/cpu:0
[[44.56.]
[98.128.]]

cifar10教程就是个很好的例子，演示了如何使用多个GPU进行训练。

见官方教程：https://www.tensorflow.org/programmers_guide/using_gpu?hl=zh-cn

总结

以上所述是小编给大家介绍的tensorflow使用指定gpu的方法，希望对大家有所帮助！

声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

tensorflow使用指定gpu的方法

热门推荐

随机推荐