构建横向扩展分析平台:YARN++体验
摘要
通过在商品集群上运行大量并行作业来收集大量数据并获得业务价值,这在行业中已经变得司空见惯。构建一个分析平台,提供可预测的执行基础,并应对不断增长的工作负载,这带来了几个有趣的挑战。使用Apache Hadoop YARN作为集群资源管理的基础,Sriram和他的团队已经构建了工作系统并为YARN贡献了代码。
在这次演讲中,Sriram将概述他所九州体育领导的一些应用研究工作。此外,Sriram还将描述他的团队如何能够将研究项目转化为对已建立的开源项目有影响力的代码贡献。
生物
斯里拉姆•拉奥(Sriram Rao)就职于Facebook公司的数据仓库团队。斯里拉姆是一名动手能力强的工程师/研究员。他构建了KFS (Kosmos分布式文件系统)和Sailfish(横向扩展分布式合并排序),并将它们作为开源项目发布。KFS和Sailfish都部署在Quantcast公司的后端集群中。
在加入Facebook之前,他是微软云和信息服务实验室(CISL)的负责人。在CISL, Sriram发起了几个研究项目,并在形成微软围绕Apache YARN的开源战略方面发挥了关键作用。由于他的努力,Apache YARN被广泛部署在微软的Cosmos计算集群中。在NSDI、OSDI、SOSP、VLDB、SIGMOD、SIGCOMM等顶级会议上发表论文20余篇。Sriram拥有University of Texas, Austin的计算机科学学士、硕士和博士学位。