三问Hive

如何理解SQL与MapReduce之间的关系

SELECT udtf_group_points(A.id,A.timestamp,A.x,A.y)
AS (id,stime,etime,elapse,length,count,points)
FROM (
    SELECT id, timestamp,x,y
    FROM car_point
    DISTRIBUTE BY id
    SORT BY id,timestamp
)A;

轨迹切分是交通大数据基础架构的重要组成部分，功能是把GPS点切分为每个车辆一次有明确起点和终点的GPS点序列。上述SQL是轨迹切分业务的基本实现，业务逻辑封装在udtf中。请指出这个语句，哪些部分对应mapper，哪些部分对应partitioner，哪些部分对应reducer。

PV、UV统计

需求：统计移动交通台每个城市、每个厂商的每5分钟的用户数（即UV）、访问次数（即PV） 输入说明：

要求输出：

注：统计时要求统计status值为0，type值为1或2，cpcode为字母、数字、下划线组成的字符串

参考答案：

SELECT from_unixtime(unix_timestamp(time)-pmod(unix_timestamp(time),300)) as time,
  adcode,
  cpcode,
  count(distinct eid) as users,
  count(eid) as request_count
FROM 
  traffic_logs
WHERE cpcode regexp '^[a-zA-Z0-9_]+$' 
  and status = 0 
  and (type = 1 or type = 2)
GROUP BY 
  from_unixtime(unix_timestamp(time)-pmod(unix_timestamp(time),300)),
  adcode,
  cpcode;

Hive调优经验