首页 列表 标签 留言 用户 订阅

yarnNN使用

yarnHN使用

SPARRK可插拔与计算框架计划 https://issues.apache.org/jira/browse/SPARK-3561

概念：

其实和rm一样原理，具体业务以后spark中会有解读。

看图：

yarn

yarn yarn

参数：

  • yarn.nodemanager.pmem-check-enabled
  • yarn.nodemanager.vmem-check-enabled
  • yarn.nodemanager.vmem-pmem-ratio 2.1
  • yarn.nodemanager.resource.memory-mb =8mb*1024

服务：

  • resourcelocalizationService:hafs-get 避免热点分摊磁盘
  • ContainerLaucher
  • AuxServices (shuffle http server)
  • containermonitor memory 控制 cpu 用cgroup
  • ContainerEventDispatcher 给外部调用containerImpl
  • AllicationEventDispatcher 给他。。
  • containexcutor cgrop
  • NodeHealthCheckerService
  • DeleteService

yarnCgroup和资源隔离

概念：

  • 线程监控containermonitorImpl
  • fork+exec,子进程启动瞬间与父进程一致
  • 进程监控防止swap
  • yarn-2

cgroup: 还是看看常福刚的ppt吧。。。董西城讲得没那个信息量大。。

健康脚本：

param:

  • yarn.nodemanager.health-checker.script.path ERROR开头的script
  • **.inteval-ms 600000 10min
  • **.script.timeout-ms 1200000 20min
  • **.script.opts

状态机：

yarn

yarn

yarn

yarn

大山 /
Published under (CC) BY-NC-SA in categories 逻辑与现象  yarn服务设计使用  tagged with yarn