Apache kaffka запуск тестового consumer приводит к ошибке “Java.lang.OutOfMemoryError”

170
03 ноября 2018, 11:50

Запускаю Apache kaffka на компьютере с Win7 с помощью стандартных команд (указанных в QuickStart)

Zookeeper START.
E:\kafka_2.11-2.0.0\bin\windows\zookeeper-server-start.bat E:\kafka_2.11-2.0.0\config\zookeeper.properties
Kafka START.
E:\kafka_2.11-2.0.0\bin\windows\kafka-server-start.bat E:\kafka_2.11-2.0.0\config\server.properties
Create topic with one partition
E:\kafka_2.11-2.0.0\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Produser START.
E:\kafka_2.11-2.0.0\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
Consumer START.
E:\kafka_2.11-2.0.0\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

Команды "Zookeeper START", "Kafka START", "Create topic with one partition" проходят успешно. Последние строки лога при запуске kaffka

[2018-08-15 14:05:36,597] INFO [TransactionCoordinator id=0] Starting up. (kafka.coordinator.transaction.TransactionCoordinator)
[2018-08-15 14:05:36,597] INFO [Transaction Marker Channel Manager 0]: Starting (kafka.coordinator.transaction.TransactionMarkerChannelManager)
[2018-08-15 14:05:36,597] INFO [TransactionCoordinator id=0] Startup complete. (kafka.coordinator.transaction.TransactionCoordinator)
[2018-08-15 14:05:36,628] INFO [/config/changes-event-process-thread]: Starting (kafka.common.ZkNodeChangeNotificationListener$ChangeEventProcessThread)
[2018-08-15 14:05:36,644] INFO [SocketServer brokerId=0] Started processors for 1 acceptors (kafka.network.SocketServer)
[2018-08-15 14:05:36,644] INFO Kafka version : 2.0.0 (org.apache.kafka.common.utils.AppInfoParser)
[2018-08-15 14:05:36,644] INFO Kafka commitId : 3402a8361b734732 (org.apache.kafka.common.utils.AppInfoParser)
[2018-08-15 14:05:36,644] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

Если сразу запустить Consumer START, то kaffka выдает много одинаковых ошибок

[2018-08-15 14:02:37,488] ERROR Error while creating log for __consumer_offsets-30 in dir C:\tmp\kafka-logs (kafka.server.LogDirFailureChannel)
java.io.IOException: Map failed
        at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:939)
        at kafka.log.AbstractIndex.<init>(AbstractIndex.scala:68)
        at kafka.log.TimeIndex.<init>(TimeIndex.scala:54)
        at kafka.log.LogSegment$.open(LogSegment.scala:635)
        at kafka.log.Log.loadSegments(Log.scala:503)
        at kafka.log.Log.<init>(Log.scala:237)
        at kafka.log.Log$.apply(Log.scala:1981)
        at kafka.log.LogManager$$anonfun$getOrCreateLog$1.apply(LogManager.scala:683)
        at kafka.log.LogManager$$anonfun$getOrCreateLog$1.apply(LogManager.scala:651)
        at scala.Option.getOrElse(Option.scala:121)
        at kafka.log.LogManager.getOrCreateLog(LogManager.scala:651)
        at kafka.cluster.Partition$$anonfun$getOrCreateReplica$1.apply(Partition.scala:177)
        at kafka.cluster.Partition$$anonfun$getOrCreateReplica$1.apply(Partition.scala:173)
        at kafka.utils.Pool$$anon$2.apply(Pool.scala:61)
        at java.util.concurrent.ConcurrentHashMap.computeIfAbsent(ConcurrentHashMap.java:1660)
        at kafka.utils.Pool.getAndMaybePut(Pool.scala:60)
        at kafka.cluster.Partition.getOrCreateReplica(Partition.scala:172)
        at kafka.cluster.Partition$$anonfun$7$$anonfun$9.apply(Partition.scala:286)
        at kafka.cluster.Partition$$anonfun$7$$anonfun$9.apply(Partition.scala:286)
        at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
        at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
        at scala.collection.Iterator$class.foreach(Iterator.scala:891)
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1334)
        at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)
        at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
        at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
        at scala.collection.AbstractTraversable.map(Traversable.scala:104)
        at kafka.cluster.Partition$$anonfun$7.apply(Partition.scala:286)
        at kafka.cluster.Partition$$anonfun$7.apply(Partition.scala:280)
        at kafka.utils.CoreUtils$.inLock(CoreUtils.scala:251)
        at kafka.utils.CoreUtils$.inWriteLock(CoreUtils.scala:259)
        at kafka.cluster.Partition.makeLeader(Partition.scala:280)
        at kafka.server.ReplicaManager$$anonfun$makeLeaders$4.apply(ReplicaManager.scala:1158)
        at kafka.server.ReplicaManager$$anonfun$makeLeaders$4.apply(ReplicaManager.scala:1156)
        at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:130)
        at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:130)
        at scala.collection.mutable.HashTable$class.foreachEntry(HashTable.scala:236)
        at scala.collection.mutable.HashMap.foreachEntry(HashMap.scala:40)
        at scala.collection.mutable.HashMap.foreach(HashMap.scala:130)
        at kafka.server.ReplicaManager.makeLeaders(ReplicaManager.scala:1156)
        at kafka.server.ReplicaManager.becomeLeaderOrFollower(ReplicaManager.scala:1076)
        at kafka.server.KafkaApis.handleLeaderAndIsrRequest(KafkaApis.scala:185)
        at kafka.server.KafkaApis.handle(KafkaApis.scala:110)
        at kafka.server.KafkaRequestHandler.run(KafkaRequestHandler.scala:69)
        at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.OutOfMemoryError: Map failed
        at sun.nio.ch.FileChannelImpl.map0(Native Method)
        at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:936)
        ... 44 more

и появляется много файлов в C:\tmp\kafka-logs

Через некоторое время kafka останавливается и выводит

[2018-08-15 15:01:57,411] INFO Stopping serving logs in dir C:\tmp\kafka-logs (kafka.log.LogManager)
[2018-08-15 15:01:57,411] ERROR Shutdown broker because all log dirs in C:\tmp\kafka-logs have failed (kafka.log.LogManager

Если повторно запустить Kafka START, то ошибка выдается сразу, пока не почищу папку C:\tmp\kafka-logs

Мне кажется ошибка с неправильными настройками виртуальной машины JAVA (Не хватает памяти). Может кто сталкивался?

READ ALSO
Висeлица на Java. Хорошо ли спроектировано?

Висeлица на Java. Хорошо ли спроектировано?

Вопрос даже не вопрос, а, точнее сказать, просьба показать на мои возможные недочёты, предложить более грамотный код

157
Не работают тесты (TestNG) web-приложение java

Не работают тесты (TestNG) web-приложение java

Я только учусь, не судите строго за вопрос, а еще лучше - помогитеСборка gradle

162
Записать ArrayList&lt;String[]&gt; в txt файл

Записать ArrayList<String[]> в txt файл

Подскажите пожалуйста, как записать большой (5000 строк) ArrayList<String[]> в файл через разделительString[] состоит из 13 элементов

170
Ошибка 500 The server encountered an unexpected condition that prevented it from fulfilling the request. (tiles, JSP, Java)

Ошибка 500 The server encountered an unexpected condition that prevented it from fulfilling the request. (tiles, JSP, Java)

Пытался прикрутить к простейшему проекту tiles из примера https://o7planningorg/ru/11683/spring-boot-apache-tiles-jsp-tutorial все вроде делал по писанному, за исключением...

178