最近一直在做组内原有的大数据任务平台的优化，同时也学习和了解了业界一些应用较广的开源任务调度平台。我还是总结一下吧。整个平台的框架是这样的，没有考虑到Spark任务的执行，也没有做分布式部署的考虑，这次比较大的遗憾实际上，这种任务调度要考虑两个方面的策略，一个是作业的调度优化，一个是资源的调度优化。资源的调度优化虽然可以采用yarn来实现资源调度平衡，但基于业务的侧重和使用用户，效果并不太理想。而在作业端的高度调度优化，更多的需要在资源的使用基础上做各种灵活的应用。我把我做的Demo截图一下，大概的功能需求从图中应该可以看得出来

[本日志由 admin 于 2017-11-28 06:10 PM 更新]上一篇: 凡善怕者，必身有所正，言有所规，行有所止。下一篇: 2017.11.26 2017 东莞国际马拉松

文章来自: 本站原创

引用通告: 查看所有引用 | 我要引用此文章

Tags:

相关日志:

密 码: 游客发言不需要密码.

邮 箱: 邮件地址支持Gravatar头像,邮箱地址不会公开.

网 址:= 0 && this.value.substring(0, 7) != 'http://'){this.value = 'http://' + this.value}" onblur="if (this.value.length >= 0 && this.value.substring(0, 7) != 'http://'){this.value = 'http://' + this.value}else{if (this.value == 'http://'){this.value = ''}}" /> 输入网址便于回访.

正在加载编辑器...

验证码: 点击获取验证码

禁止表情转换

禁止自动转换链接

禁止自动转换关键字

Recent Article《复盘:把经验转化为能力》读书笔记《端到端流程》 读书笔记《投资的常识》读书笔记2023 述职2024.01.01 厚街半程马拉松2023.12.10 广州马拉松2023.11.26 上海马拉松《咨询顾问的商业思维》读书笔记《组织的数字化转型》读书笔记2023.04.02 厦门马拉松分类首页编程技术 [228] 企业信息化 [190] 读书&想法 [160] 成长 [142] 摄影 [59] 最新评论

如果是unicode编码呢这样插入，生成的订单应该是不能修改价格，还要再插入...路过，支持下现在正在学用户权限设计，感觉博主写的很有用，学习了...老兄，我按你的方案4 解决了我机子上的同类问题，方...不错主支持一个请问修改打印机驱动怎么搞的。 急兄弟源码不全呀，是否给一个全的，谢谢。 hhqq...可以只设置用户表，管理员表和角色表号

文章列表202401月07月08月202301月04月07月09月11月12月202201月03月04月05月06月07月08月09月11月12月202101月03月04月06月09月10月11月12月202001月02月03月06月07月08月09月10月11月12月201901月02月04月06月08月09月10月11月12月201801月02月03月04月05月06月07月08月09月10月12月201701月02月03月04月05月06月07月08月09月10月11月12月201601月02月03月04月05月06月08月09月10月11月12月201501月02月03月04月06月07月08月09月11月12月201401月02月03月04月05月06月09月10月11月12月201301月02月03月04月05月06月07月08月09月10月11月12月201201月02月03月04月05月06月07月08月09月10月11月12月201101月02月03月04月05月06月07月08月09月11月12月201001月02月03月04月05月06月07月08月09月10月11月12月200901月02月03月04月05月06月07月08月09月10月11月12月200801月02月03月04月05月06月07月08月09月10月11月12月200701月02月03月04月05月06月07月08月09月10月11月12月200601月02月03月04月05月06月07月08月09月10月11月12月200506月07月08月09月10月11月12月控制面板登录用户注册忘记密码支持