開發與維運

Kafka零數據丟失的配置方案

這兩年大數據行業發展前景較好,行業工程師薪資高、人才少、競爭壓力小,很多人也因此想要轉型成為大數據工程師,但也正是因為行業新、人才少,很多技術解決方案也是缺少很優質的答案。今天,我給大家詳細剖析一個大數據工程師面試中的高頻面試題——Kafka是如何保證數據零丟失的?

如果要想保證Kafka數據不丟, 要從Kafka的三個地方入手:生產者、服務端和消費者。

生產者

01 / API使用
在生產中Kafka生產者的開發我們都會用異步調用的方式,異步調用方式有如下兩個API:

1)producer.send(msg) 不帶回調方法2)producer.send(msg,callback) 帶回調方法

記得要使用帶有回調方法的API,我們可以根據回調函數得知消息是否發送成功,如果發送失敗了我們要進行異常處理,比如存儲到其他介質來保證消息不丟。
02 / acks參數設置

acks這個參數有三個值:0,1,-1,但是不同的參數對應的含義不同,那如果我們想要保證數據不丟,acks值應該設置為哪個參數呢?請看下面的表格:

0

代表生產者只要把消息發送出去以後就認為消息發送成功了,這種方式有可能會導致數據丟失,因為有可能消息發送到服務端以後服務端存儲失敗了。

1

代表生產者把消息發送到服務端,服務端的leader replica 副本寫成功以後,就返回生產者消息發送成功了,這種方式也有可能會導致丟數據,因為有可能剛好數據寫入到leader replica,然後返回處理成功的響應給生產者,假如這個時候leader replica在的服務器出問題了,follower replica還沒來得及同步數據,這個時候是會丟數據的。

-1(all)
代表生產者把消息發送到服務端,服務端的ISR列表裡所有replica 都寫入成功以後,才會返回成功響應給生產者。假設ISR列表裡面有該分區的三個replica(一個leader replica,兩個follower replica),那麼acks=-1就意味著消息要寫入到leader replica,並且兩個follower replica從leader replica上同步數據成功,服務端才會給生產者發送消息發送成功的響應。

所以ISR列表裡面的replica就非常關鍵。如果我們想要保證數據不丟,那麼acks的值設置為-1,並且還需要保證ISR列表裡面是1個副本以上,具體由哪個參數控制,看下面的服務端的配置。

所以acks的值要設置為-1。

03 / 重試次數設置所以acks的值要設置為-1。

為了保證數據不丟,我們儘可能的設置較大的重試次數(參數是retries),如果重試失敗了,對異常進行處理,可以把消息保存到另外安全到地方。

服務端

01 / unclean.leader.election.enable

這個參數是控制leader replica出問題了以後follower replica競選leader replica資格的,我們把設置為false,意思就是如果follower replica如果落後leader replica太多就不能參與競選。
02 / replication.factor
這個參數設置的是partition副本的個數,如果我們要想保證數據不丟,這個副本數需要設置成大於1。
03 / min.insync.replicas

這個參數要跟生產者裡的acks參數配合使用,當生產者acks=-1時,服務端的ISR列表裡的所有副本都寫入成功,才會給生產者返回成功的響應。而min.insync.replicas這個參數就是控制ISR列表的,假設min.insync.replicas=1,這就意味著ISR列表裡可以只有一個副本,這個副本就是leader replica,這個時候即使acks設置的是-1,但其實消息只發送到leader replica,以後就返回成功的響應了。
因為ISR只有一個副本,我們知道這種情況是有可能會丟數據的,所以min.insync.replicas這個值需要大於1的(如果ISR列表裡面副本的個數小於min.insync.replicas,生產者發送消息是失敗的),並且是min.insync.replicas <= replication.factor

消費者

01 / 手動提交offset
消費者是可以自動提交offset的,但是如果是自動提交offset,可能會丟數據,比如消費者每隔3秒提交一次offset,假如偏移量成功提交了,但是數據處理失敗了,這個時候就會丟數據。所以把enable.auto.commit設置成false就行。
當然,我們也只是有限度的保證Kafka數據不丟,因為我們知道Kafka的數據首先是寫到操作系統緩存的,假如我們用了上面的配置方案,數據寫入成功了,還沒落到磁盤,但是集群停電了,這個時候也是會丟數據的!

Kafka 是一種高吞吐量的分佈式發佈訂閱消息系統,它能夠解決和處理的問題還有很多。當然了,要想成為一名合格的大數據工程師,還要具備系統的大數據技術知識體系,並熟練使用技術解決不同工作場景中遇到的問題。像Zookeeper、Hadoop、Flume......​

Leave a Reply

Your email address will not be published. Required fields are marked *