解决tensorflow模型压缩的问题_踩坑无数,总算搞定
1.安装bazel，从github上下载linux版的.sh文件，然后安装
2.从GitHub上下载最新的TensorFlow源码
3.进入TensorFlow源码文件夹，输入命令
bazelbuildtensorflow/tools/graph_transforms:transform_graph
这里会遇到各种坑，比如
ERROR:/opt/tf/tensorflow-master/tensorflow/core/kernels/BUILD:3044:1:C++compilationofrule‘//tensorflow/core/kernels:matrix_square_root_op'failed(Exit4)
gcc:internalcompilererror:Killed(programcc1plus)
这个错误是cpu负荷太大，需要加行代码
#生成swap镜像文件 sudoddif=/dev/zeroof=/mnt/512Mb.swapbs=1Mcount=512 #对该镜像文件格式化 sudomkswap/mnt/512Mb.swap #挂载该镜像文件 sudoswapon/mnt/512Mb.swap
又或者这个@awsErrordownloading
我看csdn有的博主解决方法是去临时文件夹删掉文件重新下载，但是我这边发现没用，我这边的解决方法是运行bazel前先输入一条命令：
sed-i'\@https://github.com/aws/aws-sdk-cpp/archive/1.5.8.tar.gz@aws'tensorflow/workspace.bzl
命令里的网址就是实际要下载的文件的地址，因为有的地址可能改了
到这里编译bazel就完成了
4.编译完了就可以模型压缩了，也是一行代码，in_graph为输入模型路径，outputs不动，out_graph为输出模型路径，transforms就填一个quantize_weights就可以了，这个就是把32bit转成8bit的，也是此方法最有效的一步；我看有的博主还先编译summary然后打印出输入输出结点，之后再输入一大堆参数，还删除一些结点啥的，我这边都试了，最终也并没有更缩减模型大小，所以就这样就可以了。
bazel-bin/tensorflow/tools/graph_transforms/transform_graph--in_graph=../model/ctpn.pb--outputs='output_node_name'--out_graph=../model/quantized_ctpn.pb--transforms='quantize_weights'
最终从68m缩减到17m，75%的缩减比例，实测效果基本没啥差别，这方法还是很管用的。
补充：模型压缩一二三之tensorflow查看ckpt模型里的参数和数值
查看ckpt模型参数和数值
importos
fromtensorflow.pythonimportpywrap_tensorflow
checkpoint_path=os.path.join("<你的模型的目录>","./model.ckpt-11000")
#Readdatafromcheckpointfile
reader=pywrap_tensorflow.NewCheckpointReader(checkpoint_path)
var_to_shape_map=reader.get_variable_to_shape_map()
#Printtensornameandvalues
forkeyinvar_to_shape_map:
print("tensor_name:",key)
print(reader.get_tensor(key))
注意：
1、"<你的模型目录>“是指你的meta、ckpt这些模型存储的路径。
比如路径”/models/model.ckpt-11000.meta"这种，那么"<你的模型目录>“就是”/models"
2、当目录下有多个ckpt时，取最新的model名字到ckpt-<最大数字>就可以了，后面不用了。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持毛票票。如有错误或未考虑完全的地方，望不吝赐教。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。