淘宝分布式大数据及实时流数据技术架构.pptx

淘宝分布式大数据及实时流数据技术架构提纲•背景•目标•传统方案与业界进展•设计理念(重点)•技术架构•要点•例子•系统边界•计划背景•应用背景–数据量急剧增加–Web1.0web2.0,publicegonet–电子商务、移动互联网、移动支付–欺诈、风控对海量交易实时性–用户体验的个性化和实时性–由点到面•实时搜索、个人实时信息服务、SNS等背景•技术背景MapReduce、Dryad等全量/增量计算平台–S4、Storm等流计算框架CEP以及EDA模型Pregel等图计算模型传统方案与业界进展Hadoop之于实时图计算Pregelvs.IProcess图计算迭代计算实时计算业界进展业界进展业界进展‐Storm系统边界业界进展设计理念设计理念IProcessIProcessIProcess逻辑模型持续计算IProcess运行过程IProcess的存储IProcess的存储IProcess的存储‐amberIProcess的存储‐GlobalTableIProcess要点回顾IProcess要点回顾应用场景特点应用场景特点应用架构Howtouse?Howtouse?Ademo实时搜索用户API简介用户API简介系统API简介Dumbo例子Dumbo例子Dumbo例子触发器模式例子系统边界目标目标IprocesRoadMap