ConfigCommand
Config相關操作; 動態配置可以覆蓋默認的靜態配置;
1.查詢配置
Topic配置查詢
展示關於Topic的動靜態配置
1.查詢單個Topic配置(只列舉動態配置)
sh bin/kafka-configs.sh --describe --bootstrap-server xxxxx:9092 --topic test_create_topic
或者sh bin/kafka-configs.sh --describe --bootstrap-server 172.23.248.85:9092 --entity-type topics --entity-name test_create_topic2.查詢所有Topic配置(包括內部Topic)(只列舉動態配置)
sh bin/kafka-configs.sh --describe --bootstrap-server 172.23.248.85:9092 --entity-type topics
3.查詢Topic的詳細配置(動態+靜態)
只需要加上一個參數
--all
其他配置/clients/users/brokers/broker-loggers 的查詢
同理 ；只需要將
--entity-type改成對應的類型就行了 (topics/clients/users/brokers/broker-loggers)
查詢kafka版本信息
sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version
所有可配置的動態配置 請看最後面的 附件 部分
2 增刪改 配置 --alter
--alter
刪除配置: --delete-config k1=v1,k2=v2
添加/修改配置: --add-config k1,k2
選擇類型: --entity-type (topics/clients/users/brokers/broker-
loggers)類型名稱: --entity-name
Topic添加/修改動態配置
--add-config
sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type topics --entity-name test_create_topic1 --add-config file.delete.delay.ms=222222,retention.ms=999999
Topic刪除動態配置
--delete-config
sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type topics --entity-name test_create_topic1 --delete-config file.delete.delay.ms,retention.ms
其他配置同理,只需要類型改下--entity-type
類型有: (topics/clients/users/brokers/broker- loggers)
哪些配置可以修改 請看最後面的附件：ConfigCommand 的一些可選配置
附件
ConfigCommand 的一些可選配置
Topic相關可選配置
| key | value | 示例 |
|---|---|---|
| cleanup.policy | 清理策略 | |
| compression.type | 壓縮類型(通常建議在produce端控制) | |
| delete.retention.ms | 壓縮日誌的保留時間 | |
| file.delete.delay.ms | ||
| flush.messages | 持久化message限制 | |
| flush.ms | 持久化頻率 | |
| follower.replication.throttled.replicas | flowwer副本限流 格式：分區號:副本follower號,分區號:副本follower號 | 0:1,1:1 |
| index.interval.bytes | ||
| leader.replication.throttled.replicas | leader副本限流 格式：分區號:副本Leader號 | 0:0 |
| max.compaction.lag.ms | ||
| max.message.bytes | 最大的batch的message大小 | |
| message.downconversion.enable | message是否向下兼容 | |
| message.format.version | message格式版本 | |
| message.timestamp.difference.max.ms | ||
| message.timestamp.type | ||
| min.cleanable.dirty.ratio | ||
| min.compaction.lag.ms | ||
| min.insync.replicas | 最小的ISR | |
| preallocate | ||
| retention.bytes | 日誌保留大小(通常按照時間限制) | |
| retention.ms | 日誌保留時間 | |
| segment.bytes | segment的大小限制 | |
| segment.index.bytes | ||
| segment.jitter.ms | ||
| segment.ms | segment的切割時間 | |
| unclean.leader.election.enable | 是否允許非同步副本選主 |
Broker相關可選配置
| key | value | 示例 |
|---|---|---|
| advertised.listeners | ||
| background.threads | ||
| compression.type | ||
| follower.replication.throttled.rate | ||
| leader.replication.throttled.rate | ||
| listener.security.protocol.map | ||
| listeners | ||
| log.cleaner.backoff.ms | ||
| log.cleaner.dedupe.buffer.size | ||
| log.cleaner.delete.retention.ms | ||
| log.cleaner.io.buffer.load.factor | ||
| log.cleaner.io.buffer.size | ||
| log.cleaner.io.max.bytes.per.second | ||
| log.cleaner.max.compaction.lag.ms | ||
| log.cleaner.min.cleanable.ratio | ||
| log.cleaner.min.compaction.lag.ms | ||
| log.cleaner.threads | ||
| log.cleanup.policy | ||
| log.flush.interval.messages | ||
| log.flush.interval.ms | ||
| log.index.interval.bytes | ||
| log.index.size.max.bytes | ||
| log.message.downconversion.enable | ||
| log.message.timestamp.difference.max.ms | ||
| log.message.timestamp.type | ||
| log.preallocate | ||
| log.retention.bytes | ||
| log.retention.ms | ||
| log.roll.jitter.ms | ||
| log.roll.ms | ||
| log.segment.bytes | ||
| log.segment.delete.delay.ms | ||
| max.connections | ||
| max.connections.per.ip | ||
| max.connections.per.ip.overrides | ||
| message.max.bytes | ||
| metric.reporters | ||
| min.insync.replicas | ||
| num.io.threads | ||
| num.network.threads | ||
| num.recovery.threads.per.data.dir | ||
| num.replica.fetchers | ||
| principal.builder.class | ||
| replica.alter.log.dirs.io.max.bytes.per.second | ||
| sasl.enabled.mechanisms | ||
| sasl.jaas.config | ||
| sasl.kerberos.kinit.cmd | ||
| sasl.kerberos.min.time.before.relogin | ||
| sasl.kerberos.principal.to.local.rules | ||
| sasl.kerberos.service.name | ||
| sasl.kerberos.ticket.renew.jitter | ||
| sasl.kerberos.ticket.renew.window.factor | ||
| sasl.login.refresh.buffer.seconds | ||
| sasl.login.refresh.min.period.seconds | ||
| sasl.login.refresh.window.factor | ||
| sasl.login.refresh.window.jitter | ||
| sasl.mechanism.inter.broker.protocol | ||
| ssl.cipher.suites | ||
| ssl.client.auth | ||
| ssl.enabled.protocols | ||
| ssl.endpoint.identification.algorithm | ||
| ssl.key.password | ||
| ssl.keymanager.algorithm | ||
| ssl.keystore.location | ||
| ssl.keystore.password | ||
| ssl.keystore.type | ||
| ssl.protocol | ||
| ssl.provider | ||
| ssl.secure.random.implementation | ||
| ssl.trustmanager.algorithm | ||
| ssl.truststore.location | ||
| ssl.truststore.password | ||
| ssl.truststore.type | ||
| unclean.leader.election.enable |
Users相關可選配置
| key | value | 示例 |
|---|---|---|
| SCRAM-SHA-256 | ||
| SCRAM-SHA-512 | ||
| consumer_byte_rate | 針對消費者user進行限流 | |
| producer_byte_rate | 針對生產者進行限流 | |
| request_percentage | 請求百分比 |
clients相關可選配置
| key | value | 示例 |
|---|---|---|
| consumer_byte_rate | ||
| producer_byte_rate | ||
| request_percentage |
關於作者：石臻臻的雜貨鋪, 專注於 Java領域、大數據領域 等知識分享, 內容多為 原理 、源碼、實戰 等等, 堅持輸出乾貨,所寫內容必定經過驗證,並深入源碼分析,保證內容準確性, 長期在CSDN、和公眾號【石臻臻的雜貨鋪】發佈原創文章,歡迎關注! 如果有相關技術領域問題,歡迎進群交流,各個領域都有專人解答,你所問的,都會得到迴應!
歡迎Star和共建由滴滴開源的kafka的管理平臺
滿足所有開發運維日常需求