时间序列处理基础

空间数据处理基础

空间数据规格

  • 数据规格:shp, tab, WKB/WKT, GeoJSON/TopoJSON, PostGIS…
  • 工具库:GDAL(C/C++), GeoTools(Java), pyshp(Python), rgdal(R), sf(R)

空间计算

  • 工具库:GEOS(C/C++), JTS(Java), shapely(Python), rgeos(R)

空间索引

简单总结空间索引技术,就是一句话:点数据用Geohash,线、面数据用R树。下面是zhanlijun(美团->阿里)的一系列经典博文:

空间可视化

轨迹挖掘

  • GPS噪点过滤
    • Mean Filter或Median Filter:按照相邻观测位置进行噪点过滤
    • 卡尔曼滤波:按照观测位置概率与动力学推断概率的复合概率进行位置平滑。卡尔曼滤波原理Kalman与GPSpykalman应用于GPS
    • 启发式噪点过滤:speed-based filter,density-based clustering
  • 停留点检测
  • 轨迹分段
    • 按照时间分段:比如只考虑最近8分钟的轨迹点,常用于线上应用,经典例子是实时路况
    • 按照时空特点分段:比如相邻两点的时间间隔超过6分钟;相邻转向超过120度;使用Douglas-Peucker压缩获得形状关键点,按照关键点分割;按照停留点分割;按照速度跃变分段
    • 按照业务信息分段:根据起点和终点抽取轨迹;根据配送任务分段轨迹
  • 轨迹生成路网:微软亚洲研究院郑宇
  • 地图分区
  • 地图匹配

经典论文