投诉淘宝网平台的方法淘宝云闪付怎么使用( 二 ) _云知道

5、调度系统——什么是Gateway?
Gateway:参与天网调度的资源
? 功能:
– 数据同步(dataX, DBSync,TimeTunnel2…)
– 数据上传/下载(hadoop fs –put/get/getmerge)
– 日志收集
– Hive sql语句提交运行
– MapReduce程序提交运行
– 集群间数据同步(hadoop distcp)
6、调度系统—— Gateway规模及规划
用于生产的Gateway约30台，由天网调度统一进行任务
分发，并行控制。
数据同步(dataX, DBSync,TimeTunnel2…)
数据上传/下载(hadoop fs –put/get/getmerge)
日志收集
Hive sql语句提交运行
MapReduce程序提交运行
集群间数据同步(hadoop distcp)
7、调度系统——gateway standardization

8、调度系统——Dynamic LB实现

9、调度系统——优先级策略(实现）

10、调度系统——优先级策略(意义)

11、调度系统——监控全景

四、元数据应用

面对上面的问题，靠经验丰富的架构师？还是靠智能的分析系统？
1、挖掘元数据金矿

2、基于元数据的开发平台
自动生成代码/集成开发平台
自动定位输入/自动代码
优化/自动部署/自动调度
配对分析/热点分
析/字段变更影
响/转换轨迹
元数据
3、基于元数据的分析平台——运行分析系统

4、基于元数据的分析平台——分析策略概览

5、基于元数据的分析平台——运行数据收集

6、基于元数据的分析平台——宏观分析策略

7、基于元数据的分析平台——定位系统瓶颈
每个环节的吞吐能力都是动态变化的。
在某个特定时间区间内，整个系统的吞吐能力由吞吐能力最小的一个环节决定。
如果需要发现系统的短板，需要对每个环节的吞吐曲线绘制出来。
针对系统的短板进行重点优化。
对于吞吐能力抖动比较大的环节，需要在前面设置队列进行缓冲。
瓶颈定位方法：
1 每个环节的吞吐曲线
2 两个环节之前缓冲队列的状态曲线
3 统一单位到task级别
8、基于元数据的分析平台——最值得优化的任务