hi各位大佬好，我是小明哥，温故而知新，因此有些代码就是要常看，说不定会有意想不到的收获。本文是在旧版本YouTube的代码理解上进一步解析，查看sequence_mask的含义。尽管之前已经有了初步理解，但仍旧不够。
For Recommendation in Deep learning QQ Second Group 102948747
For deep learning QQ Group 629530787
I'm here waiting for you?
不接受这个网页的私聊/私信！！
本宝宝长期征集真实情感经历（发在我公号：美好时光与你同行），长期接受付费咨询（啥问题都可），付费改代码。付费咨询，专属服务，快人一步！！！
?1-pad_sequences补零的方法
一般user点击序列为[1,2,3,4,5,6]，按照先后顺序点击了6个，如果设置的是长度最大为10的seq，那么后面要补零操作，train_seqs=[1,2,3,4,5,0,0,0,0,0],target=[6],mask=[1,1,1,1,1,0,0,0,0,0],这是新版本所用的方法,然鹅旧版本是倒序的，train_seqs=[5,4,3,2,1,0,0,0,0,0]，其他不变
>>> seq
[5, 4, 3, 2, 1]
>>> pad_sequences([seq],10,padding='post',truncating='post',value=0)
array([[5, 4, 3, 2, 1, 0, 0, 0, 0, 0]], dtype=int32)
>>> seq
[12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1]
>>> pad_sequences([seq],10,padding='post',truncating='post',value=0)
array([[12, 11, 10, 9, 8, 7, 6, 5, 4, 3]], dtype=int32)
这是两个例子，意思是越靠近现在的点击越重要。
2-mask理解，假设max_len=10
>>> u_hist_len=user_features[feature_length_name]
>>> u_hist_len
<tf.Tensor 'hist_len_1:0' shape=(None, 1) dtype=int32>
>>> mask = tf.sequence_mask(u_hist_len,10, dtype=tf.float32)
>>> mask
<tf.Tensor 'Cast_1:0' shape=(None, 1, 10) dtype=float32>
>>> mask = tf.transpose(mask, (0, 2, 1))
>>> mask
<tf.Tensor 'Transpose:0' shape=(None, 10, 1) dtype=float32>
mask = tf.tile(mask, [1, 1, embedding_size])
>>> mask = tf.tile(mask, [1, 1, 16])
>>> mask
<tf.Tensor 'Tile:0' shape=(None, 10, 16) dtype=float32>
u_hist_len是用户点击的item个数，embedding_size是item embedding维度（假设为16）
到此，可以看出与之前的理解并无二致，只不过之前是取代了sequence_mask的作用，而是手动写出的mask
3-聚合方式
上述得到的mask与seq_input点乘得到序列embedding，然后除以点击item的个数u_hist_len
>>> seq_input2=tf.keras.Input(shape=(10,16),dtype=tf.float32)
>>> hist_emb = tf.reduce_sum(seq_input2 * mask, 1, keepdims=False)
>>> hist_emb.shape
TensorShape([None, 16])
hist_emb = tf.divide(hist_emb , tf.cast(u_hist_len, tf.float32)+1e-9)据此得到的item序列emb与user_emb拼接得到user_emb（初步），然后经过三层左右的dense得到最终的user_emb,这就是旧版YouTube的思想。
这个玩意之前ComiRec中也是同样的操作，事实说明是一样的。融会贯通只在一刹那！
tf.nn.sampled_softmax_loss(weights=item_embs,
biases=zero_bias,
labels=item_target,
inputs=user_embs,
num_sampled=100,
num_classes=item_count,
)5-获取user_emb向量
训练完成后，之前的新版YouTube及SRGNN，ComiRec等模型中，均是采用分批过模型的方式得到user_emb，这就比较Low了，而旧版YouTube则无需分批，直接由输入到输出，相当牛逼。
分析后发现，只是采用了下面的做法，输入和输出指定即可，这种看起来稍微高端点，哈哈
model.__setattr__("user_input", user_inputs_list)
model.__setattr__("user_emb", user_dnn_out)
>>> user_inputs_list
[<tf.Tensor 'user_id_1:0' shape=(None, 1) dtype=int32>, <tf.Tensor 'hist_item_id_1:0' shape=(None, max_len) dtype=int32>, <tf.Tensor 'hist_len_1:0' shape=(None, 1) dtype=int32>]
user_model = tf.keras.Model(inputs=model.user_input, outputs=model.user_emb)
UserEmbeddings = user_model.predict(test_input, batch_size=**)愿我们终有重逢之时，而你还记得我们曾经讨论的话题。
【tf1结果】
[0.04689421 0.24410692 0.02395352 0.08529405 0.00546731]?
