RDD认识与实践

概念

• hash patition
• range patition
• lineage
• tolerance
• 函数式编程特征：可变性和不可变性：immutablelist
• cache lru??
• 容错性：checkpoint 将关键rdd presist
• 加载顺序：class->submit->default
  • taycon 解决内存资源隔离性问题，比如excutor