赛题分析:
敲黑板的重点:用于学习道路交通状况,以期对<big><big>某时段下某出租车行驶某条线路</big></big>所需的时间做出预测。
数据说明:
数据总量:14亿条,7G压缩包
数据维度:1.4万辆出租车、08.03-08.30(28天数据)
预处理:清洗掉了其中重复的和异常的记录,并忽略了00:00:00~05:59:59这一时间段的数据。用于比赛的数据被划分为三个部分。
详情:
1.201408xx_train.txt:训练集出租车GPS数据。 从08月03日到23日之间的GPS记录,用于学习交通流的状况,属于“训练集”,包含10亿条记录信息。
2.predPaths_test.txt:用于预测的道路轨迹数据。待预测路线大约3万条,其数据格式与训练集类似,但分钟和秒被统一设置为0。为了避免通过统计“记录之间的时间间隔”来猜测时间,我们在每一条路径中,随机删除了一些点。为了识别方便,我们将每一条路径的数据按时间顺序写入文件,并加入路径id。
3.201408xx_train.txt:用于辅助识别轨迹对应的前一小时的GPS记录数据,数据格式同1)。在单位为小时的时间段上与2)无任何重叠。
3SH5LBO9`G$T3U{A21$L_DD.png
明天试着把下载好的数据demo放到亚马逊云的Rstudio里,考虑一下 大家手头能使用到的环境 和 擅长的分析环境,周末列一个初步的计划出来,本周的初步目标是:搭好运算环境、确定人员分工、读懂赛题说明、查阅参考资料。
对了,之前说的是纽约出租车的那个,大家可以到github上自行搜索: