• kafka集成指南

    kafka集成指南

    Apache kafka是一个分布式的发布-订阅消息系统，它可以分布式的、可分区的、可重复提交的方式读写日志数据。下面我们将具体介绍Spark Streaming怎样从kafka中
    接收数据。

    • 关联：在你的SBT或者Maven项目定义中，引用下面的组件到流应用程序中。
    1.  groupId = org.apache.spark
    2.  artifactId = spark-streaming-kafka_2.10
    3.  version = 1.1.1
    • 编程：在应用程序代码中，引入FlumeUtils创建输入DStream。
    1.  import org.apache.spark.streaming.kafka._
    2.  val kafkaStream = KafkaUtils.createStream(
    3.      streamingContext, [zookeeperQuorum], [group id of the consumer], [per-topic number of Kafka partitions to consume])

    有两点需要注意的地方：

    1. kafka的topic分区(partition)和由Spark Streaming生成的RDD分区不相关。所以在KafkaUtils.createStream()方法中，增加特定topic的分区数只能够增加单个receiver消费这个
      topic的线程数，不能增加Spark处理数据的并发数。

    2. 通过不同的group和topic，可以创建多个输入DStream，从而利用多个receiver并发的接收数据。

    • 部署：将spark-streaming-kafka_2.10和它的依赖（除了spark-core_2.10和spark-streaming_2.10）打包到应用程序的jar包中。然后用spark-submit方法启动你的应用程序。