首发于 神策数据·用户行为洞察研究院
从零到一搭建推荐系统指南(6)

从零到一搭建推荐系统指南(6)

结合前面 (1)至(5)的内容,我们不难看出,实现一个好用的推荐系统,可能面临这几方面的挑战:

第一,数据获取和处理质量。

第二,将算法跟业务结合,我们怎么去深入地理解业务场景,以及去选择合适的算法方案。

第三,构建推荐系统和评价体系,以及如何去解决在线服务这部分的挑战。

第四,成本控制,当企业从头构建算法、数据、在线服务以及评估方法这几个方面的事情时,人力和时间都会耗费相当大的成本。

如何搭建一个推荐的闭环,让其流程体系化?这正是神策智能推荐系统优势所在,下面将全面介绍下神策智能推荐系统。

1、神策智能推荐系统及优势

神策智能推荐系统是一套全流程闭环推荐方案。支持采集终端(Web、App、H5、小程序、软件等)的用户行为、后端服务器日志(Log)、业务数据和第三方等多方数据源,存储最细粒度数据,利用最新深度学习和语义分析模型构建推荐引擎,推荐结果可利用数据分析模型多维度、多指标的实时效果分析,形成快速反馈,精准迭代特征集和算法模型。

神策数据公众号 《重磅!一文解读神策智能推荐》一文中全面介绍了神策智能推荐,可点击查看。


图16 神策推荐全流程


图17神策推荐的核心优势

2、神策智能推荐系统与其他推荐产品的差异

神策智能推荐系统与其他推荐产品的差异主要在以下几方面:

第一,算法功能强大,提供深度学习等先进的机器学习算法,保证行业领先的推荐效果。

协同过滤已经存在20 余年,神策智能推荐系统主要采用深度学习应用于推荐召回与排序,在前面的内容中已经提到对比协同过滤,深度学习召回模型更有优势,这里不再赘述。

神策数据公众号 《深入浅出理解神经网络召回模型的优势》一文中介绍了神策智能推荐之深度学习模型优势,可点击查看。

第二,支持私有化部署,确保核心数据资产安全,赋能算法模型二次开发能力。

随着人口红利消失,精细化运营与数据驱动成为企业成败的关键,数据沉淀是第一步。神策智能推荐系统不仅能够提供超出客户预期的推荐效果,还能够以私有化部署的方式,为客户沉淀数据资产。客户可以将采集数据用于精细化运营、用户画像或广告营销等场景,最大化发挥数据价值。

另外,推荐系统作为移动互联网的基础设施,如果采用SaaS 服务,SaaS 厂商不再提供服务或者业务重心转变,都可能导致企业业务受到致命影响。因此适用企业的推荐系统需要自主可控,推荐系统的能力也应该是可沉淀的。神策智能推荐系统采用私有化部署,将推荐系统部署到客户的服务器上,同时会有推荐系统的使用培训,客户的技术人员也可以添加特征、调整召回、训练模型并调参,真正做到交付给客户自主可控的推荐系统。

第三,推荐运营干预。

可视化平台支持自主对物品设置加权、封禁、必推、过滤等运营干预能力,推荐结果更符合业务实际需求。在下面的内容中会详细介绍神策运营后台。

第四,采集& 推荐更实时。

全端数据实时采集,算法模型实时计算,推荐结果实时展现,满足高时效的用户体验。

第五,团队赋能& 白盒。

提供整体方案培训,赋能客户算法团队。支持基于算法框架的二次开发,可灵活调用算法模块,让算法逻辑可见,结果可用。支持基于算法框架的二次开发,可灵活调用算法模块,模型中间产物可输出,让算法逻辑可见,结果可用。

神策智能推荐系统白盒服务包括的内容:与企业确认推荐所使用到的用户行为数据和元数据情况;提供推荐数据流中数据集市的数据说明文档;提供推荐模型的设计和调优文档,并进行相应培训;提供单独的召回和排序接口,供客户在其它场景使用;提供业务相关数据源的计算逻辑说明文档,包括热门数据和最新数据;提供已读过滤和已退过滤逻辑的说明文档;

基于白盒服务,让企业具备的二次开发和定制优化的能力,包括:

A、客户将提供的数据和接口应用到其它场景,例如某电商企业调用排序接口,应用于品类列表推荐上;某企业应用生成的特征工程数据,将这些特征使用在了其它推荐场景里面等。B、企业可根据自己的业务和需求,为模型引入其它数据源和字段,例如某企业在数据源中加入了浏览内容时长字段,来优化模型的数据质量和效果;

C、企业可以根据自己的业务情况定制化热门内容和最新内容的计算逻辑。

第六,算法可精准迭代。

基于效果分析,可灵活调整特征集, 迭代模型参数,快速调优整体方案, 不断满足业务变化,追求更高收益。

3、神策智能推荐系统运营后台介绍

算法没有价值观,但企业有价值观。算法是服务于企业业务的,归根结底是由企业的意志来决定推荐结果导向。前面也提到,只有推荐系统与企业业务结合才能实现价值最大化。

基于以上两点,神策数据为企业提供了基于业务认知的智能推荐的运营后台,企业可以根据自媒体或供应商提供内容或商品的优劣与否做加权和降权,避免一些自媒体作者或者商家研究算法后利用平台漏洞。诸如此类,帮助企业推荐系统与业务结合,实现最大价值。下面对该运营后台进行详细介绍。

(1)智能推荐系统运营后台

A、物品库

每个推荐场景都会圈定一定范围的物品作为可推的物品,物品库可供各场景用来推荐的物品总库,所有圈定可推的物品都是物品库的子集。企业可针对单条或多条物品做封禁操作,封禁后,该物品不会被任何推荐场景推出。

l 不同类型物品

随着用户需求的多元化,产品内部分发的物品类型也随之多元化。比如今日头条推荐频道可推类型包含:图文、短视频、小说、图集等。淘宝首页可推类型包含:直播、商品、活动、图文攻略等。

物品库按照物品类型(item_type)做了区分,便于企业按照物品类型进行物品信息查看和做各种相关操作。

图 18 神策推荐物品库

l 封禁/解禁操作

对于违法违规或与产品或企业价值观不符的内容或商品。可以通过封禁操作处理,被封禁的内容或商品,从源头决定了不会被任何场景作为推荐结果推出。

单条物品封禁

可以通过搜索、筛选、排序等方式,将需要封禁的单条物品找出,点击封禁开关,完成封禁操作。再次点击封禁开关,完成解禁操作,解禁后的物品或内容仍然可以被各场景推出。

图 19 神策推荐单条物品封禁

批量物品封禁

对于批量违法违规或违反平台价值观的物品或内容,可以进行批量封禁操作。通过筛选或搜索功能,按item各属性条件,找出需要封禁的物品。

图 20 神策推荐批量物品封禁

点击左侧全选按钮,当前页面物品被全部选中,点击顶部“封禁”按钮,完成当前页面物品批量封禁。暂不支持跨页批量封禁,可以将单页展示物品数调整到最大,加快批量封禁进程。批量解封同理。

图 21 神策推荐批量物品封禁

B、场景列表

神策智能推荐系统在应用之前,会确定需要服务的场景,一个场景对应的是采用同一推荐策略集的推荐栏集合。

通过神策智能推荐系统之场景列表,用户可从场景列表查看场景基本信息及操作入口。场景列表不仅将神策智能推荐系统服务的场景基本信息展示出来,同时支持在每个场景下进行相关操作。

图 22 神策推荐场景列表

物品规则:在与当前场景绑定的物品库上进行各种操作

推荐规则:在当前场景所采用的推荐策略配置上进行各种操作

报表:当前场景下,推荐数据表现,通常为点击率/平均点击数

运行图:当前场景下,推荐策略运行流程可视化展示图

C、物品规则

每个推荐场景都会有与之绑定的可推物品库,被封禁物品不会展示在此库中。在此物品库中,可以对物品进行各类操作,直接对推荐结果进行干预和影响,目前主要可实现给物品加权操作。

l 不同类型物品

与物品库类似,在场景物品规则下的物品库展示也是以物品类型(item_type)为区分,便于按类型对物品进行各种便捷操作。

图 23 神策推荐物品规则——不同类型的物品

l 加权操作

通常来说,平台方都会有自身需要流量倾斜的内容提供方或商品提供方。譬如自媒体平台引入头部自媒体或者圈出一些优质的内容;电商平台扶植产品服务优质的卖家或者自营产品。

加权功能是企业可以做推荐流量倾斜的强大工具,当物品被设置加权后,此物品会在推荐重排序环节做加权,实现更大概率被曝光,权重越高,曝光量越大,实现流量倾斜,将推荐系统与业务认知实现融合,助力业务价值最大化。

单条物品加权

可以通过搜索、筛选、排序等方式,将需要加权的单条物品找出,点击加权设置按钮,设置权重值,权重值为1-5正整数,默认为1,设置权重越高,被曝光的概率越大。

图 24 神策推荐场景加权操作

批量物品加权

对于希望批量设置加权做流量倾斜的情形,可以进行批量加权操作。通过筛选或搜索功能,按item各属性条件,找出需要加权的物品。

图 25 神策推荐批量物品加权

点击左侧全选按钮,当前页面物品被全部选中,点击顶部“修改权重”按钮,完成当前页面物品批量加权。暂不支持一键跨页批量加权,可以将单页展示物品数调整到最大,加快批量加权进程,批量降权同理。


图 26 神策推荐物品权重修改

C、推荐规则

推荐规则是推荐策略常见配置的功能集合,当前阶段主要是支持推荐去重规则配置。

企业可以根据自身内容存量情况,譬如内容过少时,将重复时间设置的短些;或根据商品的复购情况,譬如因电商平台平均复购天数为15天,设置为展示或点击15天内不重复,现已支持以展示/点击维度做条数或天数的去重。


图27 神策推荐之推荐规则

D、报表

神策智能推荐系统支持查看当前场景下数据报表,在任意场景下点击“报表”,会跳转到神策分析数据概览中,概览中会展示当前场景推荐报表信息,通常为CTR和平均点击数,如没有请与神策分析师联系。


图28 神策推荐报表


图 29神策推荐报表详情——CTR


图 30神策推荐报表详情——人均点击

E、运行图

神策智能推荐系统一直秉承“授人以鱼,不如授人以渔”,不仅提供给您满意的推荐效果,还会通过“私有化部署+培训”的方式交付给您,让您也能够学会使用神策智能推荐系统,自主调召回、加特征、模型调参、上线新场景。

运行图功能是将当前场景下推荐运行流程图可视化出来,以直观的形式展示出当前场景模块及详细配置情况。同时支持查看不同实验下运行图,降低您的技术人员理解和使用神策智能推荐系统成本,助力您能够对推荐系统自主可控,实现业务价值最大化。


图 31神策推荐报表详情——运行图

(2)场景案例

泛内容类、泛电商类企业对封禁操作的应用较广,例如泛内容类平台,针对某些政治敏感、负能量、黄赌毒内容需要封禁;泛商品类平台,涉及某些商品下架或者有质量服务问题被投诉过多的问题。下面介绍泛内容类客户案例和泛商品类客户案例。

A、泛内容类客户案例

场景举例:某头条主打下沉市场,希望开拓一二线用户市场扩大业务规模,需要增加更多内容类型,控制平台内优质内容导向。

具体场景:需要将不符合平台导向的黄赌毒文章封禁掉;需要将站外引入的优质自媒体内容和编辑精选内容给予更多曝光;新上线短视频内容量较少,无法支持用户的阅读要求。

l 封禁黄赌毒文章

经过用户举报后,确定一些黄赌毒文章,违反平台规则,做封禁处理,净化平台风气


图32神策推荐封禁文章

l 给优质自媒体内容做流量倾斜

通过挖其他内容平台优质自媒体,将其引入。给予自媒体一定的流量倾斜,将优质自媒体下内容做加权,比如默认权重为1,给予优质自媒体下文章权重设置为5,增加优质自媒体留存和收益。


图33 神策推荐修改文章权重

l 调整短视频去重条数/时间

为满足不同用户内容需求,平台在已有图文内容基础上,引入短视频内容。但前期引入短视频内容较少,用户刷新几次就没有了,会给用户感觉内容少,造成用户流失。

通过降低短视频去重时间/条数,将更多短视频内容作为用户推荐候选集,保证召回率,减少用户流失。


图34 神策推荐调整短视频去重条数/时间

B、泛商品类客户案例

场景举例:某奢侈品电商发展多年,希望提升产品GMV。扶植优质卖家,打击劣质卖家,制定符合用户复购需求的推荐策略。

具体场景:需要将劣质卖家(假冒产品/售后服务差)商品禁推掉;需要将优秀商家(产品性价比高/售后服务优质)商品给予更多流量倾斜;需要调整去重时间以符合客户复购习惯。

l 封禁劣质卖家商品

经过用户举报后,确定某商家下奢侈品商品均为假冒伪劣产品,影响奢侈品电商口碑与信任度,于是平台方希望将此卖家下商品全部封禁,不再出现在任何推荐结果中。

图35 神策推荐封禁劣质卖家商品

l 给优质卖家做流量倾斜

通过分析确定某些优秀卖家商品性价比高且售后服务优质,平台方希望给予优质卖家下商品更多流量倾斜。将这些卖家下商品权重由默认权重1,调整为5,给予最大化的支持,实现共赢。


图36 神策推荐卖家商品权重调整

l 调整商品去重时间

举个例子,经过分析调研得知奢侈品平均复购时间为2个月左右,于是平台方可将去重时间由默认时间调整为两个月,使在客户没有复购需求时,没有复购商品信息出现打扰客户;使在客户有复购需求时,商品能够恰到好处的出现,促进用户体验和GMV双重提升。

图37 神策推荐之调整商品去重时间

4、神策智能推荐系统助力客户业务增长实践

(1)服务的客户维度

l 行业维度:资讯、论坛、短视频、长视频、小说、在线教育、广电

l 业务维度:推荐0-1 替代专家规则、有自建推荐需助力增长、赋能多条产品线(驻地)

l 增长指标:CTR/平均消费数(泛内容行业)、留存率、下单率/GMV(泛电商行业)

(2)增长实践案例

目前,神策智能推荐系统已经赢得百度视频、东方明珠、惠头条、 妈妈帮等行业标杆企业的认可。

案例一:某内容媒体高时效性个推 CTR比自建推荐提升了40.67%。

图 38 某内容媒体推荐实践

该公司内部有算法团队,但遇到推荐效果瓶颈,希望寻求第三方推荐厂商提升推荐效果。推荐提升核心指标:点击率。最终结果是CTR :比自建推荐提升了40.67%,比友商推荐提升了11.23%。

案例二:某IPTV 播放平台个性化推荐提升影视推荐精准度,提升人均浏览次数

在与神策数据合作前,该平台采用人工编辑,以周为时间周期固定内容全量推荐。目标有三:急需引入智能推荐引擎,实现“千人千面”的个性化推荐;提升影视推荐的精准度、更新频率;提升用户观影体验。


图 39 某 IPTV 推荐实践

该案例中智能推荐的效果是,对比人工推荐,CTR 指标即提升了6 倍;对推荐内容的人均浏览次数提升了1.9 倍;完成整体方案的培训,赋能客户方算法团队,将方案推广到其他驻地。

神策数据·用户行为洞察研究院公众号ef=" mp.weixin.qq.com/s?&version=12010010&nettype=WIFI&lang=zh_CN&fontScale=100&pass_ticket=0FU3vQOrPnJ2FTg8voQ4%2FkOXzUPJUOEnEeczrCJX9eqqjHTzi%2BpteyFbfBS1HFq0">《专访 | 东方明珠:融媒时代的大数据转型之路打造》一文中介绍了东方明珠的推荐相关实践,可点击查看。

5、神策智能推荐系统的实施落地流程

最后,通过一张图介绍下神策智能推荐系统的实施落地流程。


图40 神策智能推荐的实施落地流程

在实施落地流程中,神策智能推荐团队通过专业的服务帮助企业实现卓越的业务目标。

第一,坚持数据治理的精耕细作:数据埋点与校验。如果埋点和校验本身有问题的话,再厉害的算法都无济于事。神策智能推荐系统非常重视数据埋点与校验,每个客户都会有专业的分析师分析客户推荐需求,确定埋点方案,并与客户技术人员一道做埋点校验,从源头上保证数据质量,从而能够实现超出预期的推荐效果。

第二,通过深度学习应用于推荐召回与排序。前文提到过,协同过滤已经存在20 余年,神策智能推荐主要采用深度学习,对比协同过滤,深度学习召回模型更有优势,包括:更全面的行为表达;可添加画像特征,可加入性别、地域等用户画像相关的特征;考虑用户的行为顺序;组合复杂特征等。

第三,全面的行为特征与第三方画像数据。神策智能推荐系统全面采集用户行为特征,不只是点击曝光,包括分享、收藏、订单转化等数据都会进行采集,基于此构建的推荐系统,进行推荐效果调优。如果客户提供给第三方画像数据,则可以更好解决了智能推荐系统冷启动的问题。

第四,训练有素的工程与算法人员。神策智能推荐系统具有BAT背景的工程与算法团队,具有丰富的推荐系统构建经验。

综上所述,对于有推荐需求的企业,智能推荐系统的建设应交由专业的公司做专业的事,选最专业最符合自身业务需求的厂商。神策智能推荐系统帮助企业将主要精力聚焦在自身核心业务上,助力企业实现业务增长。

相关阅读

智能运营案例介绍: 每日一淘

iOS 全埋点技术剖析(1)

金融业数字化转型 MVP 实践(上)

金融业数字化转型MVP实践(下)

免费下载《从零到一搭建推荐系统指南》白皮书:
方式 1: 神策数据官网下载;
方式 2:可以关注“神策数据”公众号,后台回复“推荐指南”获取。

weixin.qq.com/r/dj9rc_f (二维码自动识别)

本地代做工资流水服务商信阳办转账流水福州工资流水费用合肥查询工资银行流水镇江代办企业银行流水潮州公司流水制作惠州企业对公流水代做台州打印银行对公流水盐城车贷流水南阳车贷流水多少钱蚌埠个人工资流水 打印株洲房贷工资流水 价格杭州制作企业对公流水南阳企业贷流水办理郑州查询银行流水账许昌代办薪资流水单中山签证银行流水 打印洛阳工资代付流水开具常德在职证明样本铜陵银行流水电子版查询洛阳银行流水修改打印天津代办入职工资流水赣州公司银行流水费用大连转账流水图片舟山办理工资银行流水新乡查银行流水账兰州银行流水修改查询莆田代开车贷流水肇庆制作企业流水打印淄博企业流水打印报价芜湖贷款工资流水 代开淀粉肠小王子日销售额涨超10倍罗斯否认插足凯特王妃婚姻让美丽中国“从细节出发”清明节放假3天调休1天男孩疑遭霸凌 家长讨说法被踢出群国产伟哥去年销售近13亿网友建议重庆地铁不准乘客携带菜筐雅江山火三名扑火人员牺牲系谣言代拍被何赛飞拿着魔杖追着打月嫂回应掌掴婴儿是在赶虫子山西高速一大巴发生事故 已致13死高中生被打伤下体休学 邯郸通报李梦为奥运任务婉拒WNBA邀请19岁小伙救下5人后溺亡 多方发声王树国3次鞠躬告别西交大师生单亲妈妈陷入热恋 14岁儿子报警315晚会后胖东来又人满为患了倪萍分享减重40斤方法王楚钦登顶三项第一今日春分两大学生合买彩票中奖一人不认账张家界的山上“长”满了韩国人?周杰伦一审败诉网易房客欠租失踪 房东直发愁男子持台球杆殴打2名女店员被抓男子被猫抓伤后确诊“猫抓病”“重生之我在北大当嫡校长”槽头肉企业被曝光前生意红火男孩8年未见母亲被告知被遗忘恒大被罚41.75亿到底怎么缴网友洛杉矶偶遇贾玲杨倩无缘巴黎奥运张立群任西安交通大学校长黑马情侣提车了西双版纳热带植物园回应蜉蝣大爆发妈妈回应孩子在校撞护栏坠楼考生莫言也上北大硕士复试名单了韩国首次吊销离岗医生执照奥巴马现身唐宁街 黑色着装引猜测沈阳一轿车冲入人行道致3死2伤阿根廷将发行1万与2万面值的纸币外国人感慨凌晨的中国很安全男子被流浪猫绊倒 投喂者赔24万手机成瘾是影响睡眠质量重要因素春分“立蛋”成功率更高?胖东来员工每周单休无小长假“开封王婆”爆火:促成四五十对专家建议不必谈骨泥色变浙江一高校内汽车冲撞行人 多人受伤许家印被限制高消费

本地代做工资流水服务商 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化