1.模型

思想：如何一个单元更新，接下来在其后面的神经元也接着更新。

（c）在每个时间步骤可视化每组神经元的更新神经元的比率。 在每个时间步，给定输入字，深灰色块被完全更新，浅灰色块被部分更新。 三组神经元具有不同的更新频率。 较高的组更新频率较低，较低的组更新频率更高。

在LSTM内部使用 cumsum激活函数,用于更新。（增加拓扑信息，反映独立单元的排序关系）。

参考：
1.ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS ；
2.Github