当前位置:首页 > 科技  > 软件

之家push系统迭代之路

来源: 责编: 时间:2023-08-05 11:45:36 3529观看
导读前言在这个信息爆炸的互联网时代,能够及时准确获取信息是当今社会要解决的关键问题之一。随着之家用户体量和内容规模的不断增大,传统的靠"主动拉"获取信息的方式已不能满足用户个性化信息的需求,信息主动寻找用户的方式

前言

PEh28资讯网——每日最新资讯28at.com

在这个信息爆炸的互联网时代,能够及时准确获取信息是当今社会要解决的关键问题之一。随着之家用户体量和内容规模的不断增大,传统的靠"主动拉"获取信息的方式已不能满足用户个性化信息的需求,信息主动寻找用户的方式,更适合移动互联网。push系统能在用户不启动APP的场景下获取到相关信息,利用机器学习技术构建模型,为用户提供精准的个性化推荐,让用户第一时间知晓产品、内容、活动等的最新动态。 PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

1、系统综述

PEh28资讯网——每日最新资讯28at.com

push是一种有效召回用户的产品,它涉及到的业务场景有:运营场景化推送(活动、消息通知、热点)、算法精准推送(定时个性化推送),它的核心模块如下:PEh28资讯网——每日最新资讯28at.com

数据处理:用户数据、内容数据以及用户历史行为数据等。PEh28资讯网——每日最新资讯28at.com

流程预测:通过召回、排序、干预、过滤等,生成待推送渲染数据。PEh28资讯网——每日最新资讯28at.com

JOB:调度、触发推送任务的执行。PEh28资讯网——每日最新资讯28at.com

推送通道:查询、过滤有效设备,封装协议和消息体,识别不同APP,下发到终端。PEh28资讯网——每日最新资讯28at.com

终端:对消息进行积攒处理,请求厂商或第三方渠道,进行消息下发。PEh28资讯网——每日最新资讯28at.com

APP:通知栏或弹窗展示推送消息,并上报到达和点击数据。PEh28资讯网——每日最新资讯28at.com

图片图片PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

接下来将从数据、算法、架构三个方面介绍push精准推送系统的构成:PEh28资讯网——每日最新资讯28at.com

  • 数据:数据是push系统的基石,包括用户数据、内容数据以及用户历史行为数据等。它以离线画像为主,辅以实时行为画像。
  • 算法:算法需要适应高度复杂性并处理大量数据,传统的人工策略已无法进行分析干预,因此需要一套基于复杂信息的处理逻辑。随着push业务复杂度的提高,算法也从最初的树模型发展到以神经网络为基础的深度学习模型。
  • 架构:架构保证push系统可以进行近实时化、全自动化的运行。架构包含了收集用户行为、提取用户画像特征、存储用户数据、生成推送结果等。用户对内容的时效性、个性化要求越高,系统架构就会越复杂。

PEh28资讯网——每日最新资讯28at.com

2、系统迭代及优化

PEh28资讯网——每日最新资讯28at.com

2.1 链式任务

push采用链式任务支撑整个系统,每批次预测任务都需要经过特征提取、召回、排序、打散、重排、生成推荐结果等步骤,随着新特征的接入以及召回和排序场景的不断迭代优化,任务失败的频率越来越高,主要存在如下问题:PEh28资讯网——每日最新资讯28at.com

● 特征数据难以复用:特征数据存储在临时表中,任务执行失败时需人工介入恢复,无历史数据可用。PEh28资讯网——每日最新资讯28at.com

● 流程执行链路过长:召回、排序、重排等关键流程每一步失败都将造成任务失败且重试成本高。PEh28资讯网——每日最新资讯28at.com

● 非明文类召回功能接入成本高:新的召回策略实验不能动态接入,需要开发介入。PEh28资讯网——每日最新资讯28at.com

2.2 异步服务

针对链式任务存在的问题,push任务采用分尾号、分时段并行执行,并通过以下方式提升任务执行效率:PEh28资讯网——每日最新资讯28at.com

● 数据分区:将特征数据及预测流程各环节生成的结果存入分区表,解决任务执行失败时无数据可用的问题。PEh28资讯网——每日最新资讯28at.com

● 流程拆分:将预测主流程拆分为召回、排序、重排、结果融合等子流程,每个子流程按尾号异步执行,互不影响,每个子任务只需取上一环节生成的最新结果即可继续运行,提升了系统的稳定性及容错性。PEh28资讯网——每日最新资讯28at.com

● 平台化配置:通过配置平台动态接入实验,简化新策略接入成本。PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

3.整体设计

PEh28资讯网——每日最新资讯28at.com

3.1 业务架构

图片图片PEh28资讯网——每日最新资讯28at.com

push系统业务主要分为三大部分,离线层、近线层和推送层。PEh28资讯网——每日最新资讯28at.com

  • 离线层:是计算量最大的一个部分,它不需要实时提供服务。主要功能模块有数据处理、数据存储、离线特征计算、离线预测等。它通过任务调度平台定时从全量数据中抽取我们需要的数据,进行相应的加工,生成对应的特征,经过spark模型进行离线预测,得到待推送结果。
  • 近线层:特点是准实时,它可以获得实时数据,然后快速计算提供服务。通过监听kafka,获取用户行为日志,计算得出用户实时特征(用户搜索车系、浏览车系等),然后将实时特征与长中期特征进行融合,调用tensorflow模型实时预测得到待推送结果。
  • 推送层:将离线预测结果和实时预测结果进行融合(优先取实时结果),按批次生成待推送数据。通过任务调度中心定时选取最新批次预测结果给用户进行推送。

3.2 技术架构

图片图片PEh28资讯网——每日最新资讯28at.com

push技术架构的设计思想就是对数据层层建模、层层筛选,帮助用户从海量数据中找出其真正感兴趣的那部分内容。它包含以下几个部分:PEh28资讯网——每日最新资讯28at.com

3.2.1用户特征

push用户特征包含两部分,原始特征和计算特征,其中原始特征来源于画像表、用户行为日志、内容数据等,将原始特征经过加工形成计算特征,计算特征用于资源召回。PEh28资讯网——每日最新资讯28at.com

图片图片PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

3.2.2物料特征

push物料主要分为以下几类:原创文章/视频、帖子、口碑、车家号、问答。每类内容又分别包含兴趣车系、标签、关注作者、点击数、浏览数、收藏数、互动率等特征。PEh28资讯网——每日最新资讯28at.com

图片图片PEh28资讯网——每日最新资讯28at.com

3.2.3预测流程

预测是push系统中最重要的环节,通过获取用户特征与物料特征,按照一定的逻辑处理信息后,产生推荐结果。它主要分为以下几步:PEh28资讯网——每日最新资讯28at.com

1. 召回:将十万量级的物料先缩小到千量级。涉及到的召回方法有:PEh28资讯网——每日最新资讯28at.com

热门召回:将一段时间内的热门内容召回。PEh28资讯网——每日最新资讯28at.com

标签召回:根据每个用户的行为,构建标签,并根据标签召回内容。PEh28资讯网——每日最新资讯28at.com

协同召回:基于用户与用户行为的相似性推荐,发现用户潜在的兴趣偏好。PEh28资讯网——每日最新资讯28at.com

2. 过滤:已经曝光和点击后的资源、与用户所在城市不同的资源不会再推送到用户面前。PEh28资讯网——每日最新资讯28at.com

3. 精排:将召回和过滤后的内容通过模型预测出分值,根据得到的分值进行排序。PEh28资讯网——每日最新资讯28at.com

4. 重排:将精排后的推荐结果进行一定的修改,例如控制某一车系的频次,根据召回策略的权重对排序分值进行修改,将效果好的策略召回的资源置顶。PEh28资讯网——每日最新资讯28at.com

图片图片PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

四、可视化平台

PEh28资讯网——每日最新资讯28at.com

push系统以定时任务为主,通过每日多次的召回、排序、过滤等主流程的运行,将最新物料及时推送至用户端,相较于传统监测任务异常后进行的事后处理,我们更倾向于实时监控。PEh28资讯网——每日最新资讯28at.com

1、统一调度平台

用于支撑push系统主流程业务运行,提供了失败重跑、超时报警、日志查看等功能。PEh28资讯网——每日最新资讯28at.com

图片图片PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

2、报表平台

报表平台主要包括推送策略打开率、实验打开率、尾号打开率的统计,以及用于辅助决策的内容池素材统计,用于事前预警的召回结果统计,这些报表便于开发人员及时发现和改进系统问题。PEh28资讯网——每日最新资讯28at.com

图片图片PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

3、配置平台

通过配置平台进行ABTest、召回策略、排序模型、运营规则、过滤逻辑的动态切换,针对不同的推送时段可以进行个性化的配置。PEh28资讯网——每日最新资讯28at.com

图片图片PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

五、总结

PEh28资讯网——每日最新资讯28at.com

push系统是汽车之家APP的基础功能,是触达用户的一个非常重要的手段,它每天给几千万用户提供及时有趣的内容服务,对于提高主软活跃度及用户粘性起到重要作用。未来它将继续致力于召回唤醒沉默用户、促进用户活跃、提高功能使用体验。PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

作者简介

李娟娟PEh28资讯网——每日最新资讯28at.com

■ C端及中台产研中心-智能推荐部PEh28资讯网——每日最新资讯28at.com

■ 汽车之家高级系统开发工程师。先后从事知识图谱、之家大脑、PUSH精准推送等业务。现主要负责PUSH系统相关工作。PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

董欢欢PEh28资讯网——每日最新资讯28at.com

■ C端及中台产研中心-智能推荐部PEh28资讯网——每日最新资讯28at.com

■ 汽车之家系统开发工程师。先后从事家家小秘、知识平台、PUSH精准推送等业务。现主要负责PUSH系统相关工作。PEh28资讯网——每日最新资讯28at.com

PEh28资讯网——每日最新资讯28at.com

本文链接://www.dmpip.com//www.dmpip.com/showinfo-26-123-0.html之家push系统迭代之路

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 让我们一起聊聊文件的操作

下一篇: 如何通过Python线程池实现异步编程?

标签:
  • 热门焦点
Top
Baidu
map