/阿裏巴巴/DataX/blob/master/dataxplugindev . MD
Datax插件開發Kafka writer
/article/259830
Datax二次開發插件的詳細流程(以kafkaReader為例)
/mjlfto/dataX/tree/master/kafkawriter
這是在datax中添加kafka的內容，以及參數描述。
參數描述
bootstrapServers
描述:kafka服務地址，格式:host1:port，host2:port示例:10.1.20 . 11:9092，10.65438+。
必填:是
默認值:無
主題
描述:kafka主題名，目前支持壹次寫壹個主題。
必填:是
默認值:無
確認字符（acknowledgementcharacter）
描述:消息的確認機制；默認值為0。
Acks = 0:如果設置為0，生產者不會等待卡夫卡的響應。
ack = 1:這種配置意味著kafka會將該消息寫入本地日誌文件，但不會等待集群中其他機器的成功響應。
Acks = all:這種配置意味著領導者將等待所有追隨者同步。這確保了消息不會丟失，除非kafka集群中的所有機器都掛起。這是最強的可用性保證。
必選:否。
默認值:0
批量大小
描述:當需要將多個消息發送到同壹個分區時，生產者將嘗試合並網絡請求。這將提高客戶和生產者的效率。
默認值:16384
必選:否。
重試次數
描述:如果將其配置為大於0的值，客戶端將在發送失敗時重新發送消息:
默認值:0
必選:否。
默認值:0
字段分隔符
描述:當wirteType為文本時，書寫時的字段分隔符。
默認值:，(逗號)
必選:否。
默認值:，
密鑰序列化器
描述:鍵序列化，默認為org.apache.Kafka.com mon . serialization . string serializer
必選:否。
默認值:org.apache.Kafka.com mon . serialization . string serializer
值序列化程序
描述:鍵序列化，默認為org.apache.Kafka.com mon . serialization . string serializer
必選:否。
noTopicCreate
說明:沒有主題時，是否創建主題，默認為false。
Required:如果haveKerberos為true，則為必需。
默認值:false
主題劃分
描述:主題劃分數量
必選:否。
默認值:1
主題復制因子
描述:主題復制數量
必選:否。
默認值:1
writeType
描述:寫入kafka的數據格式，可選文本，json。
Text:使用fieldDelimiter將所有字段值拼接為鍵，值相同，然後寫入kafka。
JSON:key的格式和text壹樣，所有字段值都用fieldDelimiter拼接成key，值是datx內部列格式，如下。
RawData是壹個數據值。如果對象中沒有這樣的字段，則該值為null。