HighLights 时间信息与注意力机制:以往相关研究如STF-RNN网络将(地点独热值，时间点独热值)元组一并嵌入作为循环神经网络的输入。
神经网络的可解释性研究 :文章在实验部分对 数据时间戳的定义、注意力机制的有效性、嵌入维度 进行了细致地探讨，通过可视化方式较为直观地得出了: 注意力机制令模型更关注最近时间的信息
时间戳以小时效果最佳且应设为离开地点的时刻
嵌入维度对模型提升瓶颈与24小时制有关
离散化衡量指标 :设备限制和数据处理方法使得模型的地点信息是离散且有限的 ，因此模型的评估同之前行人轨迹预测中ADE和FDE连续化指标不同，分别为准确率，召回率和F1-Score。
Future Work 尝试使用更高级的RNN单元如GRN、LSTM。
克服模型无法预测未知地点的问题，引入未知地点的概率预测。
模型 MAP模型由三部分组成:地点信息模型(左部灰色区)、注意力模型(右部灰色区)、分类器(上)
地点处在有限集合中，因此已经编码为独热编码(维度N)。
时间戳以小时为单位划分，其代表的均是离开与其对应地点的时刻，也采用的是独热编码(维度M)。
地点信息模型 地点信息模型是基本的RNN结构，其首先将\(N\) 维的独热值地点信息经过嵌入矩阵 \(Le\) 生成 \(d_l\) 维向量，而后作为RNN的每一步的输入参与编码，最后一次的RNN输出(维度为 \(d_r\) )作为summary vector参与注意力模型运算和分类器:
注意力模型 Question请仔细参考结构图明确MAP的注意力模型中，“注意的对象到底是谁
应该为时间戳经过嵌入后形成的W个嵌入向量，而不是RNN模型输出，这点需要和带注意力机制的RNN模型区分开。
用Attention Mechanism机制中的三个指标(Query，Key和Value)来具体刻画此模型的注意力机制:
Query:来自RNN网络的Summary Vector \(r_i\)
Key = Value= \(\Omega\) :时间戳独热值经嵌入处理后的 \(w\) 个向量, \(te_i = t_i \cdot Te, \ \ \{te_{i-w},..,i\} = \Omega\)
注意力权重由Query和Key 点乘 并归一化得到:
注意力向量由注意力权重和Value进行element-wise的乘法运算:
模型评估 数据集 MAP模型的数据集相比之前轨迹预测的数据集更宏观，时间跨度以小时为最小单位，并且地点也是离散和有限的。
Gowalla:处在固定地点的打卡机所记录的时间戳数据。
量化评价 评价指标:由于位置离散有限 ，因此预测是采用softmax计算概率分布并采样，这使得MAP模型与之前预测连续分布的模型评价指标(ADE，FDE)不同。
准确率 - 预测地点集合中有多少真实命中的 : \(Precision \over |U|}\Sigma _{u \in U}{|L_u \bigcap P_{N,u}| \over |P_{N,u}|}\) 。
召回率 - 真实地点集合中有多少被预测到的 : \(Recall = {1 \over |U|}{\Sigma_{u \in U}}{|L_u \bigcap P_{N,u}| \over |L_u|}\)
数据嵌入(embedding)对模型预测能力提升明显，这是因为嵌入层能模型很好 提取潜在的语义信息 。
MAP表现最好……
结论 :将时间因素$\Omega \(纳入考虑得到的\) \alpha$符合人为的认知结果 - 更关注距离当前时间点更近的时间嵌入向量。
隐藏层(时间嵌入)维度最优值
时间戳定义
时间戳的定义由两方面问题，一是单位的定义(小时，时辰，天，月……)，二是选择哪个时刻与对应地点相对应，经过对比，最终得出:
小时制度效果更好。
选择离开该地点的时刻作为时间戳效果更好，印证了“离开时刻对预测下一步地点最具影响力”的人为认知。