配置文件在config/server.properties
下面的一些配置可能是你需要进行修改的。
broker.id
整数，建议根据ip区分
log.dirs
kafka存放消息文件的路径，
默认/tmp/kafka-logs
port
broker用于接收producer消息的端口
zookeeper.connnect
zookeeper连接
格式为 ip1:port,ip2:port,ip3:port
message.max.bytes
单条消息的最大长度
num.network.threads
broker用于处理网络请求的线程数
如不配置默认为3，server.properties默认是2
num.io.threads
broker用于执行网络请求的IO线程数
如不配置默认为8，server.properties默认是2可适当增大，
queued.max.requests
排队等候IO线程执行的requests
默认为500
host.name
broker的hostname
默认null,建议写主机的ip,不然消费端不配置hosts会有麻烦
num.partitions
topic的默认分区数
默认1
log.retention.hours
消息被删除前保存多少小时
默认1周168小时
auto.create.topics.enable
是否可以程序自动创建Topic
默认true,建议false
default.replication.factor
消息备份数目
默认1不做复制，建议修改
num.replica.fetchers
用于复制leader消息到follower的IO线程数
默认1
2.程序内指定（可以通过参数传入） val conf = new SparkConf() .setMaster(...) val sc = new SparkContext(conf)
传递给spark的master url可以有如下几种：
local 本地单线程 local[K] 本地多线程（指定K个内核） local[*] 本地多线程（指定所有可用内核） spark://HOST:PORT 连接到指定的 Spark standalone cluster master，需要指定端口。 mesos://HOST:PORT 连接到指定的 Mesos 集群，需要指定端口。 yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。 yarn-cluster集群模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。 作者：知乎用户 链接：https://www.zhihu.com/question/23967309/answer/26243256 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。