|
worker相关参数：
topology.worker.max.heap.size.mb: 拓扑每个worker的最大堆内存
worker.childopts：worker启动的JVM参数，其中-Xmx%HEAP-MEM%m使用的是topology.worker.max.heap.size.mb
woker.heap.memory.mb: worker的堆内存大小，默认为768m,如果上述参数未设置，则使用该参数
此外还可以通过代码设置：
config.setTopologyWorkerMaxHeapSize(512);
设置topology.worker.max.heap.size.mb参数。
通过实测，发现以上参数的设置不生效。
关于storm内存的相关配置可以参考：Resource Aware Scheduler
storm中每个component的默认堆内存为128m，可以在启动Topology时设置参数：topology.component.resources.onheap.memory.mb。
在storm中每个component可以设置堆内存和非堆内存：
// 如果未指定topology的component,则默认为128m
topology.component.resources.onheap.memory.mb: 128.0
// 非堆内存
topology.component.resources.offheap.memory.mb: 0.0
// 每个组件使用的CPU百分比
topology.component.cpu.pcore.percent: 10.0
// 每个worker的最大堆内存
topology.worker.max.heap.size.mb: 768.0
同时也可以通过相关代码设置：
T setMemoryLoad(Number onHeap, Number offHeap); // 设置堆内存和非堆内存
有些静态的数据可以在component之间共享，因此可以设置共享堆内存的大小。
T addSharedMemory(SharedMemory request);
如果设置component的内存大于了worker的最大堆内存，则topology不能正确提交。
关于上面的内存设置举例：
如果一个worker上运行的总task数为5，即component数为5，topology.component.resources.onheap.memory.mb设置为128，则整个worker的JVM的堆内存为5*128=640m
在实际过程中，如果设置了topology.worker.max.heap.size.mb不管是大于640m还是小于640m，在UI界面和使用jmap -heap查看到的都是640m。
至于仅仅通过设置worker的最大堆内存不生效的原因暂时不清楚，但是如果Topology如果出现堆内存溢出，可以通过设置worker的最大堆内存解决。
|