kafka-python批量发送数据的实例
如下所示：
fromkafkaimportKafkaClient fromkafka.producerimportSimpleProducer
defsend_data_2_kafka(datas):
'''
向kafka解析队列发送数据
'''
client=KafkaClient(hosts=KAFKABROKER.split(","),timeout=30)
producer=SimpleProducer(client,async=False)
curcount=len(datas)/PARTNUM
foriinrange(0,PARTNUM):
start=i*curcount
ifi!=PARTNUM-1:
end=(i+1)*curcount
curdata=datas[start:end]
producer.send_messages(TOPICNAME,*curdata)
else:
curdata=datas[start:]
producer.send_messages(TOPICNAME,*curdata)
producer.stop()
client.close()
其中PARTNUM为topic的partition的数目，这样保证批量发送的数据均匀的落在kafka的partition中。
以上这篇kafka-python批量发送数据的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
热门推荐
6 保研的祝福语简短
10 年轻20岁祝福语简短
11 朋友结婚祝福语信息简短
12 女孩婚礼贺卡祝福语简短
13 30段点歌简短祝福语
14 虎年春节祝福语图文简短
15 写给后妈祝福语大全简短
16 简短回复生日祝福语
17 校长送毕业祝福语简短
18 毕业立体贺卡祝福语简短