如何在python中写hive脚本
这篇文章主要介绍了如何在python中写hive脚本,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
1、直接执行.sql脚本
importnumpyasnp importpandasaspd importlightgbmaslgb frompandasimportDataFrame fromsklearn.model_selectionimporttrain_test_split fromioimportStringIO importgc importsys importos hive_cmd="hive-f./sql/sql.sql" output=os.popen(hive_cmd) data_cart_prop=pd.read_csv(StringIO(unicode(output.read(),'utf-8')),sep="\t",header=0)
2、Hive语句执行
假如有如下hivesql：
hive_cmd='hive-e"selectcount(*)fromhbase.routermac_sort_10;"'
一般在python中按照如下方式执行该hivesql：
os.system(hive_cmd)
---------------------
hive_cmd1="hive-f./user.sql" output1=os.popen(hive_cmd1) test_user=pd.read_csv(StringIO(unicode(output1.read(),'utf-8')),sep="\t",header=0) hive_cmd2="hive-f./action.sql" output2=os.popen(hive_cmd2) test_action=pd.read_csv(StringIO(unicode(output2.read(),'utf-8')),sep="\t",header=0) hive_cmd3="hive-f./click.sql" output3=os.popen(hive_cmd3) test_click=pd.read_csv(StringIO(unicode(output3.read(),'utf-8')),sep="\t",header=0)
为了显示表头，在脚本中加上一句：sethive.cli.print.header=true;
或者，使用如下语句：
hive_cmd='hive-e"sethive.cli.print.header=true;SELECT*FROMdev.temp_dev_jypt_decor_user_label_phase_one_view_featureWHERE(dt="2018-09-17");"' output=os.popen(hive_cmd) data_cart_prop=pd.read_csv(StringIO(unicode(output.read(),'utf-8')),sep="\t",header=0)
3、tf显存占用
importtensorflowastf
tf.enable_eager_execution()
x=tf.get_variable('x',shape=[1],initializer=tf.constant_initializer(3.))
withtf.GradientTape()astape:
y=tf.square(x)
y_grad=tape.gradient(y,x)
print([y.numpy(),y_grad.numpy()])
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。