1. 无法找到 org.apache.kafka.clients.consumer.Consumer
确认kylin-server的服务器上安装了kafka,且kafka对应的版本为 kylin中依赖的版本 kafka-2.11_1.0.0
由于此版本无法找到,更高版本的是否支持未验证
You need copy the kafka client jar file to $KYLIN_HOME/lib folder and then re-run this command.
2. Error: java.io.IOException: Unexpected ending of stream, expected ending offset 446, but end at 0 at
此问题发生于 offset与预期值不一致
原因是kylin中采用的旧版本的kafkaApi消费数据,未使用消费组,在其它地方消费可能影响offset
./kafka-run-class.sh kafka.tools.GetOffsetShell –broker-list localhost:9092 –topic kylin_streaming_topic –time -1 查看最新offset
./kafka-run-class.sh kafka.tools.GetOffsetShell –broker-list localhost:9092 –topic kylin_streaming_topic –time -2 查看最老offset
实际根源问题在与 kafka的依赖问题 需要将 kafka-client 与 kafka-stream 放入lib目录下