Spark修炼之道(进阶篇)——Spark入门到精通:第十六节 Spark Streaming与Kafka

  • 时间:
  • 浏览:1
  • 来源:大发大发彩神app—大发彩神下载苹果

作者:周志湖

得到结果如下:

前面的例子中,producer是通过kafka的脚本生成的,本例中将给出通过编写程序运行运行生成的producer

KafkaWordCountProducer 运行参数设置如下:

sparkmaster:9092,broker-list

kafkatopictest,top名称

5表示每秒发好多个条消息

8表示每条消息中有 好多个单词

向kafka集群发送消息

先KafkaWordCountProducer,并且 再运行KafkaWordCount ,得到的计算结果如下:

运行KafkaWordCount 后,在producer中输入下列内容

sparkmaster:2181,zookeeper监听地址

test-consumer-group, consumer-group的名称,不需要 和$KAFKA_HOME/config/consumer.properties中的group.id的配置内容一致

kafkatopictest,topic名称

1,程序运行运行数

配置运行参数:



具体如下: