区域内的公共事件对城市的空中人口流动的影响（数据马拉松）

####*参加数据马拉松突击出的报告。。。 有机会把代码也补上*

###概要

- 【*研究的问题* 】 区域内的**公共事件**是否对城市的空中**人口流动**造成影响 ？

- 【*发现及结论*】通过**公共事件**命名的信息，可以一定程度**影响/反应**空中人口流动的**趋势**，其中**会议**和**音乐**都是显著关联的流入流出趋势信号。

- 【*意义*】 通过一个探索性的分析，确定不同属性的公共事件的发生和人口流动存在关联属性。进一步的，当尽早了解公共事件的规划时(以及出现新的公共事件)，航司可以更好的优化航班和票价信息。

-----

###内容

近些年，航空运输业得到了飞速发展，选择航空出行方式的人们也日益增多。今年新兴冠状病毒疫情突然袭来，凸显了公共事件对航空运输的重大影响。因此在得到数据集后，就尝试着探索了区域公共事件的发生，和空中人口流动的关系。通过一定的探索性分析，得到公共事件中关联人口流动的重要的文本因子，以及一个在已知规划时进一步预测未来人口流动趋势的简单模型。

####获得人口流动信息

- 整理数据，使用票价的季度数据，统计每个机场的季度飞入人流量，以及飞出人流量和飞入飞出时平均票价信息。人流量之间直接统计买票人数之和，使用区间均数*区间人数/总人数，获得平均票价
    - 观察三季度人流量最大的10个机场(**下图**)，看到人流量是非常可观的，但似乎偏差不大，可能是由于大机场人流量更加稳定，受干扰较少。
    - ![title](/api/file/getImage?fileId=5f0245aa4a7f363dd5000192)
    - 进一步观察整体的信息，使用飞入飞出的比例信息，在这里可以直观观察到无论是人流量(**下左图**)/票价(**下右图**)，在许多机场的飞入飞出的航班中，都是存在较大差异的。猜测可能公共事件发生对其有影响。
    - ![title](/api/file/getImage?fileId=5f0247b54a7f363dd5000194)
- 基于机场的出入信息，获得城市空中出入数据，人流量通过城市机场人流累加得到，并进一步获得飞入飞出比。

####对公共事件进行解析

- 一般来说，公共事件的命名中，已经包含了事件的具体属性，也由于时间原因，没有爬取事件的网络释义。 由于存在具体事件的城市和机场城市交集较少，因此引入新的概念，区域事件。这里假定一个事件的发生可以影响到周围100英里(基于经纬度椭圆距离计算，160km筛选)的相关城市，这个区域称为城市区域。因此一个城市关联的事件就拓展为城市区域的关联事件。
- 三季度发生事件最多(右图),因此使用第三季度数据，关联城市。获得了110个城市关联的2631个事件(由于有区域概念，所以有重复事件)
- ![title](/api/file/getImage?fileId=5f02551a4a7f363dd5000196)
- 将关联事件名字进行拆解并进行onehot向量化（使用RTextTools工具），并去除过长的歧义字符,最终获得378列特征

####对公共事件进行地区人流量趋势预测并分析

- 地域和事件发生的属性强关联，因此补充经纬度信息，获得110个样本380列特征。使用地域的因子化的飞入飞出比作为预测特征(该地属于流入趋势或者流出趋势)。进一步构建模型
- 割去20%作为测试集，使用机器学习中常用的随机森林进行建模分析，优点是参数较少，计算量较小，可解释性较强。
- 使用randomforest库中的tuneRF自动在训练集上寻优模型，记录因子重要性。同时对测试集进行预测。
- 预测结果较好 AUC:0.9473684 (下左图) , ACC:0.9545455(下右图) ,因此模型对数据解释性较好。
![title](/api/file/getImage?fileId=5f0257dc4a7f363dd5000197)
- 基于分词因子对不同趋势的重要性，构建词云。 对于不同趋势，有着不同的重要信号，有趣的是**会议**会影响流入增多,而**音乐**影响流出增多，需要进一步分析。
![title](/api/file/getImage?fileId=5f02527c4a7f363dd5000195)

----

###结论与讨论

通过对公共事件与城市空中人口的关联和建模分析，确定了二者之间存在一定的联系，并获得了一些可进一步深入挖掘的点，例如具体是那些会议和音乐会成为关键节点，具体是那些热点城市在这个分析中占据主导地位。
另外许多地方需要更细节的分析，例如事件名做语义时，可以使用更高效的word2vec之类的，避免维度爆炸。对其他季度同样做分析，用于佐证结论。

Song Jie 's Blog

Navigation

Recent Posts

Friend Links