spark-峰会机器学习概念

---2015.3.29 开始scala有感而听，尹绪森。后有同事4年的机器学习专业

概念

1. 机器学习包
2. mlI
3. sgd
4. glm
5. als kmean
6. naive bayes
7. breeze
8. vactor
9. 决策树
10. evalution
11. lda
12. gragh图处理
13. spark结合
14. 性能比较
15. 复合函数hdfs
16. glm


1. tree决策
2. impurity gini 分类
3. 优化算法sgd 剃度下降 gibbs
4. 牛顿方法vs  sgd剃度下降  收敛捎
5. 细粒度控制term topic
6. evaluation 估值算法
7. loader


1. 统计有效 统计高收敛快
2. 计算有效
3. 参数分配
4. 更新
5. 收回参数
6. 共享内存
7. 交换律结合律
8. 模型复制 sgd 小
9. 模型切分 传输少lda
10. parameterserver p2p
11. sparkals
12. 更新excutor训练完 bsp
13. ssp
14. grind 并行 coarse
15. 每个excutor index userid



1. glm inner
2. block caset大局真硬件效率
3. lda匹配 经典采样更新 聚合参数迭代
4. 收集参数
5. 记log不记矩阵 logmerge
6. ensemble
7. mllib不用object实现 自己些业务
8. heterogeneous  cluster 提交影响
9. ml cache里计算近
10. filter离数据近sql
11. 循环内部cache
12. gc 循环内部bsp
13. lda数据 mahot roters数据 80m 2wd*6w  10次迭代 小数据集
14. 剃度向量  权重

边分割

1. 点分割
2. 交换律结合律
3. 能量模型 好坏评估 随机游走 pregel不像
4. 有监督的随机游走
5. auc
6. 偏导
7. 更新权重
8. 训练
9. pregel训练
10. rdd三个一个gragh
11. 加入时间点count
12. sparkparallellim
13. num*core woker
14. spark，storage，memoryfraction0.5