Monkeyzx

背景 想要用ML模型拟合业务，但实际中经常会遇到类似下面的场景：二手车价格预估：同一辆车，预估的价格与里程应该是严格负相关的； 保费预估：保额越高，保费越高； 理财产品中，比如余额宝，用户的利率敏感度预估（利率敏感度=用户余额变化/利率变化）：同一用户，理财产品利率越高，购买金额越高，余额越高； 如果直接用比如xgb或dnn模型拟合 X -> Y，$$ p_y=f(x), where\ x = [x_c, x_p] $$ 其中f为xgb或dnn等具体模型，x_c为先验无关的特征（比如二手车里面的品牌和里程特征无关...

为什么需要重读word2vec Word2vec原论文：Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. CoRR, abs/1301.3781,2013. Tomas Mikolov, Ilya Sutskever, Kai Chen, Gregory S. Corrado, and Jeffrey Dean...

SIM和ETA的问题 SIM通过类目从长序列中检索相关的items（hard-search）或者通过embedding inner product计算从长序列中检索最相似的topK个item；SIM的问题在 ETA 中讲过，主要是离线索引可能带来的在线target item embedding和离线的item embeddings不一致的问题； ETA在SIM基础上，通过对Long Behavior Sequence的item embeddings进行SimHash（LSH）之后，然后就可以将inner...

SIM的问题 前面介绍过阿里巴巴超长行为序列建模的方法SIM是two-stage，在预估的时候，SIM先通过target item从长行为序列中通过类目（hard-search）或item embedding相似度（soft-search）检索出top-K，再送到主模型中做target attention。由于类目索引和item embedding索引的构建是离线的，而CTR主模型很多时候需要online learning，这种情况下就造成用于检索的目标item embedding和离线构建的item...