推荐系统正步入快速迭代期

Posted 2021-05-01 明略科技集团

随着我国互联网产业与其他产业如医疗、教育、金融，出行等产业进一步融合，互联网向精细化发展，推荐系统正步入到一个黄金发展期，需求越来越大，应用场景也更加多样。例如，推荐系统和搜索引擎互补，在学术研究和工业界的发展也非常成熟。

近年来，随着网络技术的快速发展，互联网深刻影响着人们的生产、生活，在为人们带来各种便利的同时也带来了"信息过载"的问题，引发一系列的困扰。人们在浩瀚的网络空间中越来越难以找到他们感兴趣或者对他们有用的信息，网络离人们越来越近，反而价值信息离人们愈来愈远。在这样的情况下，人们对网络推荐系统的需求也逐步加大。从技术演进的角度看，在众多信息筛选的技术中，推荐系统能向用户提供建议和推荐物品，能帮助用户选择物品和服务，为用户决策提供辅助，在互联网应用中拥有不可比拟的优势。与搜索引擎需要用户主动提供准确的关键词检索信息相比，推荐系统能够在用户没有明确目的的时候帮助他们发现感兴趣的新信息，提供个性化的服务，具有更强的智能性和主动性。

目前，推荐系统已经广泛应用。例如，在电子商务平台领域，国内有淘宝，京东，拼多多等，国外有Amazon和eBay等。再比如，在在线社交平台领域，国内有微信和微博，国外有Instagram和Facebook。其他流行的互联网平台如网络学习平台、新闻资讯应用（如今日头条）、金融理财平台和旅游助手等都有广泛地使用推荐系统来提升用户体验。与此同时，推荐系统涉及的推荐内容也多种多样，推荐社交潜在好友、实体商品、电影、音乐、新闻之类的电子资源。从应用的价值来看，推荐系统的商业价值主要体现在提升广告的曝光与转化、提升会员的转化与会员留存等方面。

随着我国互联网产业与其他产业如医疗、教育、金融，出行等产业进一步融合，互联网向精细化发展，推荐系统正步入到一个黄金发展期，需求越来越大，应用场景也更加多样。例如，推荐系统和搜索引擎互补，在学术研究和工业界的发展也非常成熟。

不过，由于推荐系统的技术体系和应用模式还有待进一步成熟，在创新与应用中还存在一些突出的问题，具体表现在：一是与海量数据资源的结合度不够。目前许多混合推荐系统的推荐准确度有了很大的提升，但是模型训练效率和更新都存在效率不高的问题，而工业界能实时部署在线学习的推荐算法往往不是在单机离线状态下最佳的算法。许多推荐算法在大数据面前往往因为得训练时间过长或者内存要求过高而被工程师所弃用。二是应用中对数据要求高，对数据缺失敏感。数据缺失问题主要表现形式有两方面。一方面是推荐系统的训练数据中用户只和极小一部分物品有互动，导致大部分用户物品对应的喜好评分是缺失的，称为稀疏性问题。另一方面则是新加入系统的新用户或新物品，因为缺乏交互数据而无法被推荐系统学习建模，称为冷启动问题。这样，无法向顾客推荐有价值、符合预期消费标准、真实有效的产品，也是电商平台目前面临巨大挑战。三是算法层面可解释性不足。推荐可解释性可以帮助用户更精准地做决策，提升推荐的准确性，同时提升推荐系统的可信度。而目前的推荐算法大多属于"黑盒子"算法，无法精确给出推荐的理由。这样的推荐算法可能会给用户带来不信任感，用户如果产生了厌恶心理，推荐系统的效果就很难发挥。

因此，行业企业正不断加快推荐系统的迭代演进，力图获取未来发展的主动权。从演进方向来看，以下几个方向更受关注，部分企业也已经形成一些有价值的探索。

一是不断强化数据需求与供给之间的关联度，形成数据闭环，从而最大程度规避潜在的数据风险。根据大数据基本理念，关联数据足够多的情况下，即便缺乏完整的目标数据，也能够获得较为理想的推荐结果。以明略科技最新的推荐系统为例，其数据采集及服务体系深入到全行业多场景，从而构建起完整的数据服务闭环。明略科技推荐系统负责人邱文一指出，明略推荐系统的设计思路是从供需匹配的角度出发，不局限于人和物的匹配，而是延伸到任何实体之间的匹配，因此明略的推荐系统是面向实体的智能匹配解决方案。

二是构建形成立体式的多级技术服务体系，从而提升整体服务的稳定性和有效性，同时保证服务业务的灵活性。推荐系统的核心在与推荐算法以及面向应用场景的优化，不同推荐系统在底层技术、数据模型等方面具有共通性。因此，当前许多企业都在搭建从数据采集层、数据分析层已至到应用层的推荐服务体系，从而避免单一推荐系统带来的数据来源有限、服务功能单一等问题。同样，以明略科技为例，其已构建形成了完整的推荐系统技术服务体系，为其业务的拓展奠定了良好基础。

明略的推荐系统，在数据采集方面，支持HTTP数据、SDK数据采集对接，可实现实时回传，为运营和模型提供实时数据。依托自主研发的Matrix算法平台，持续交付算法模型，供系统调用。推荐引擎，可实现万级别QPS、千级别并发、百亿级别数据量支持，全面的触点接入，采用可扩展、高可用的架构。在系统运营方面，支持多标签人群筛选策和灵活的推荐策略，以及AB测试，具有完备的物料管理体系，能做到可视化的运营监控、预警。

三是以知识图谱构建作为技术创新的重要方向，通过知识图谱明确各类数据的价值边界，为进一步拓展推荐系统的应用场景提供基础。一方面，知识图谱可以帮助挖掘目标应用场景的基础数据关联性，有助于提升推荐系统的业务方向。另一方面，知识图谱可以协助挖掘已有数据的潜在应用场景，有助于提高数据的应用价值。以明略科技为例，通过知识图谱的研发和应用创新，其已在资金网络构建、企业关系网络构建、信用卡营销等多个应用解决方案中实现了融合创新，极大提升了企业推荐系统的行业竞争力。邱文一表示，明略的推荐系统基于知识图谱技术做了很多创新，例如，在洞察形式上，可以根据分析结果为客户绘制图谱，提炼有价值的结论，也可以在营销话术的推荐、实体之前的关联关系分析上提供可解释性。

综合来看，尽管面临挑战，但推荐系统的应用前景还是受到业界的高度认可，推荐系统发展正步入一个全新的快速迭代期。谁能够更精准的把握住迭代中隐藏的技术创新、产品创新、模式创新的市场机遇，谁就更能在未来的市场竞争中占据优势，获得更大的发展空间。

信息来源：

推荐系统正步入快速迭代期

http://m.ccidnet.com/pcarticle/10547530

赛迪网

如感兴趣明略科技产品，请点击左边【阅读原文】

点击右边【在看】分享明略科技观点