MapReduce tuning

 Posted on December 23, 2012  |  5 minutes  |  GaryZhu

MapReduce is not a low latency computing model, minutes at least will go before we got the result. But this does not mean there's no way for us to make it faster. Combined with the nature of Hadoop, here are some solutions from different pespective. [Read More]
MapReduce  Performance tuning  Hadoop 

基于Sqoop和Hadoop的数据质量分析报告

 Posted on November 15, 2012  |  3 minutes  |  GaryZhu

一个系统的数据质量不高通常是软件本身做的不够好，数据从源头就出现了问题。为了能够持续归总interface数据质量报告，来完善系统流程，我们就需要定量定性的分析源头数据。但是在大数据量的情况下，如何实现高效有效的数据分析呢？ [Read More]
Sqoop  MapReduce  Hadoop 

用MapReduce来进行用户行为分析

 Posted on September 16, 2012  |  5 minutes  |  GaryZhu

在系统设计的时候，为了提高可用性，经常需要对用户行为进行分析，来持续完善系统。一个典型的场景就是分析用户的查询条件，根据操作习惯和规律来精简用户输入，让查询变得更简单更高效。那么对于这种场景，我们应该如何实现？ [Read More]
MapReduce  User analysis  Hadoop  Java