Kafka 2.5.0发布——弃用对Scala2.11的支持

近日Kafka发布了最新版本 2.5.0，增长了不少新功能：

下载地址：https://kafka.apache.org/downloads#2.5.0

• 对TLS 1.3的支持（默认为1.2）

• 引入用于 Kafka Streams 的 Co-groups

• 用于 Kafka Consumer 的增量 rebalance 机制

• 为更好的监控操做增长了新的指标

• 升级Zookeeper至 3.5.7

• 取消了对Scala 2.1.1的支持

下面详细说明本次更新:

1、新功能

一、Kafka Streams: Add Cogroup in the DSL

当多个流汇集在一块儿以造成单个较大的对象时（例如，购物网站可能具备购物车流，心愿单流和购买流。它们共同构成一个客户），将其在Kafka Streams DSL中使用很是困难。

一般须要您将全部流分组并聚合到KTables，而后进行多个外部联接调用，最后获得具备所需对象的KTable。这将为每一个流和一长串ValueJoiners建立一个状态存储，每一个新记录都必须通过此链接才能到达最终对象。

建立使用单个状态存储的Cogroup 方法将：

• 减小从状态存储获取的数量。对于多个联接，当新值进入任何流时，都会发生连锁反应，联接处理器将继续调用ValueGetters，直到咱们访问了全部状态存储。

• 性能略有提升。如上所述，全部ValueGetters都被调用，还致使全部ValueJoiners被调用，从而强制从新计算全部其余流的当前联接值，从而影响性能。

二、Add support for TLS 1.3

Java 11添加了对TLS 1.3的支持。添加对Java 11的支持后，咱们应该对此提供支持。

三、再也不支持Scala 2.11

为何再也不支持？

咱们目前为3个Scala版本构建Kafka：2.十一、2.12和最近发布的2.13。因为咱们必须在每一个受支持的版本上编译和运行测试，所以从开发和测试的角度来看，这是一笔不小的成本。

Scala 2.11.0于2014年4月发布，对2.11.x的支持于2017年11月结束（到发布Kafka 2.5时将超过2年）。Scala 2.12.0于2016年11月发布，Scala 2.13.0于2019年6月发布。基于此，如今该放弃对Scala 2.11的支持了，以便咱们使测试矩阵易于管理（最近的kafka-trunk-jdk8占用了将近10个小时，它将使用3个Scala版本构建并运行单元测试和集成测试。此外，Scala 2.12和更高版本还改进了与Java 8功能接口的互操做性（Scala 2.12中首次引入）。更具体地说，Scala 2.12中的lambda能够与Java 8代码相同的方式与Java 8功能接口一块儿使用。

在咱们的下载页面中，咱们推荐自Kafka 2.1.0起使用Scala 2.12构建的Kafka二进制文件。咱们切换到Scala 2.12做为Kafka 2.2.0中源tarball，构建和系统测试的默认Scala版本。

2、改进与修复

• 当输入 topic 事务时，Kafka Streams lag 不为 0
• Kafka-streams 可配置内部 topics message.timestamp.type=CreateTime
• 将 KStream#toTable 添加到 Streams DSL
• 将 Commit/List Offsets 选项添加到 AdminClient
• 将 VoidSerde 添加到 Serdes
• 改进 Sensor Retrieval

[KAFKA-3061] 修复Guava依赖问题

[KAFKA-4203] Java生产者默认的最大消息大小再也不与broker默认一致

[KAFKA-5868] kafka消费者reblance时间过长问题

详细更新内容点此查看

3、其余版本升级至2.5.0指南

若是要从2.1.x以前的版本升级，请参阅如下注释，以了解用于存储偏移量的架构的更改。将inter.broker.protocol.version更改成最新版本后，将没法降级到2.1以前的版本。

在全部Broker上更新server.properties并添加如下属性。CURRENT_KAFKA_VERSION指的是您要升级的版本。CURRENT_MESSAGE_FORMAT_VERSION是指当前使用的消息格式版本。若是之前覆盖了消息格式版本，则应保留其当前值。或者，若是要从0.11.0.x以前的版本升级，则应将CURRENT_MESSAGE_FORMAT_VERSION设置为与CURRENT_KAFKA_VERSION相匹配。

• inter.broker.protocol.version = CURRENT_KAFKA_VERSION（例如0.10.0、0.11.0、1.0、2.0、2.2）。
• log.message.format.version = CURRENT_MESSAGE_FORMAT_VERSION
• 若是要从0.11.0.x或更高版本升级，而且还没有覆盖消息格式，则只须要覆盖Broker间协议版本。
  • inter.broker.protocol.version = CURRENT_KAFKA_VERSION（0.11.0，1.0，1.1，2.0，2.1，2.2，2.3）。
• 一次升级一个Broker：关闭Broker，更新代码，而后从新启动。完成此操做后，Broker将运行最新版本，而且您能够验证集群的行为和性能是否符合预期。若是有任何问题，此时仍能够降级。
• 验证群集的行为和性能后，经过编辑inter.broker.protocol.version并将其设置为2.5来提升协议版本 。
• 逐一从新启动Broker，以使新协议版本生效。Broker开始使用最新协议版本后，将没法再将群集降级到较旧版本。
• 若是您已按照上述说明覆盖了消息格式版本，则须要再次滚动重启以将其升级到最新版本。一旦全部（或大多数）使用者均已升级到0.11.0或更高版本，则在每一个Broker上将log.message.format.version更改成2.5，而后逐一从新启动它们。请注意，再也不维护的较旧的Scala客户端不支持0.11中引入的消息格式，所以，为避免转换成本，必须使用较新的Java客户端。

2.5.0主要的变化，可能产生的升级影响

• 当RebalanceProtocol#COOPERATIVE使用时，Consumer#poll仍然能够返回数据，此外， Consumer#commitSync如今能够抛出RebalanceInProgressException来通知用户此类事件，CommitFailedException并容许用户完成正在进行的Reblance，而后从新尝试为那些仍然拥有的分区提交偏移量。
• 为了提升典型网络环境中的弹性，默认值 zookeeper.session.timeout.ms已从6s增长到18s， replica.lag.time.max.ms从10s增长到30s。
• cogroup()添加了新的DSL运营商，用于一次将多个流聚合在一块儿。
• 添加了新的KStream.toTable()API，可将输入事件流转换为KTable。
• 添加了新的Serde类型Void以表示输入主题中的空键或空值。
• 弃用UsePreviousTimeOnInvalidTimestamp并替换为UsePartitionTimeOnInvalidTimeStamp。
• 经过添加挂起的偏移防御机制和更强大的事务提交一致性检查，改进了一次精确语义，这大大简化了可伸缩的一次精确应用程序的实现。
• 弃用KafkaStreams.store(String, QueryableStoreType)并替换为KafkaStreams.store(StoreQueryParameters)。
• 再也不支持Scala 2.11。
• 软件包中的全部Scala类kafka.security.auth均已弃用。请注意，在2.4.0中已弃用kafka.security.auth.Authorizer 和kafka.security.auth.SimpleAclAuthorizer。
• 默认状况下，TLSv1和TLSv1.1已被禁用，由于它们具备已知的安全漏洞。如今默认状况下仅启用TLSv1.2。您能够经过在配置选项ssl.protocol和中明确启用它们来继续使用TLSv1和TLSv1.1 ssl.enabled.protocols。
• ZooKeeper已升级到3.5.7，而且若是3.4数据目录中没有快照文件，则ZooKeeper从3.4.X升级到3.5.7可能会失败。这一般发生在测试升级中，其中ZooKeeper 3.5.7尝试加载没有建立快照文件的现有3.4数据目录。有关问题请参考：https://issues.apache.org/jira/browse/ZOOKEEPER-3056
• ZooKeeper 3.5.7版支持有或没有客户端证书的TLS加密的到ZooKeeper的链接，而且可使用其余Kafka配置来利用此功能。