######### tf的官方文档，我根据自己的理解加的注释 ########## encoder_inputs = tf.random.normal([32, 10, 8]) #input_shape=[batch_size, encoder_max_len, embeding_dim]:[32,10,8] gru = tf.keras.layers.GRU(4) #return_sequences默认为False，即只返回最后一个单元的output;return_state默认为False,不返回最后一个单元的hidden_state output = gru(inputs) print(output.shape) #只输出最后一个单元的output,所以shape=[32,4] gru = tf.keras.layers.GRU(4, return_sequences=True, return_state=True) #return_sequences=True，返回每一个单元的output，encoder_max_len那么长的序列;return_state=True,返回最后一个单元的hidden_state whole_sequence_output, final_state = gru(inputs) print(whole_sequence_output.shape) #输出每个单元的output,所以encoder_output.shape=[32,10，4] print(final_state.shape) ########## 关于attention接收的是最后一个单元的hidden_state,还是整个序列的hidden_state，还是整个序列的output? ########### 我感觉是没有标准答案的。首选用整个序列的hidden_state，但是老师课上说每个RNN单元的输出就是hidden_state,所以整个序列的hidden_state=整个序列的output（这里是否真的等于我还是怀疑的）；其次采用最后一个单元的hidden_state，毕竟包含了前面的序列信息，应该要扩展维度进行计算。但是，我觉得LSTM、GRU是采用了门控机制，最后一个单元的hidden_state过滤了部分信息，所以个人不建议采用。 整个序列的hidden_state=整个序列的output？在GRU里面是肯定的。从下面这个图看得出来######### 在LSTM里面用什么计算attention？ ######### Attention计算是全局的，每个输出单词都要计算一次。另外，LSTM中，h和c，区别主要是，c可以理解成是记忆主线，h可以理解成短时记忆，h是根据当前输入组合产生的门控信号。H是单个的，c是累积的。 c主要是保存前面单元传过来的记忆信息+这个单元要记忆的，起到记忆作用；h主要还是保存这个单元重要信息的。 所以LSTM用C计算的更好。
