摸象大数据CTO郑永明:大数据技术在计算广告中的应用

编辑:摸象大数据 | 2016-11-23
摸象大数据聚牛分享

随着信息技术的迅猛发展,我国已经迈入“大数据”时代。“大数据”影响力的主要载体和推动力是互联网。依托大数据和互联网,许多传统或被颠覆或被更新,其中较为显著和先行的是广告营销的相关方式,而计算广告学是其中一项主要的技术应用,基于大数据技术深入挖掘用户需求,实现用户和广告的匹配。它带给中小广告业主的是更精确、更有效、更经济的广告营销模式,也为丰富人们的生活做出了重要贡献。

日前,摸象大数据CTO郑永明受邀出席聚牛讲堂,为大家阐述大数据技术在计算广告中的应用。

1、大数据驱动计算广告问世

随着网络技术的不断进步以及网民规模的不断扩大,互联网广告渐渐从“补充型”媒体跃居为传播中心媒体。

互联网广告

但是,早期的互联网广告和传统广告其实并无本质上的区别,只不过是载体发生了变化。

广告投放是将广告与受众的需求做匹配,而传统广告和早期的互联网广告只能通过媒体不同、版面或频道的区别等方式间接获得细分的受众需求。很明显,这样的匹配准确率并不会很高。同一媒体的受众,他们的需求存在千差万别,但是他们看到的广告却是相同的。这就给他们造成了一种骚扰,也是很多人不喜欢广告的原因。

伴随着大数据概念的深入,结合智慧家庭、光网城市、移动4G带动的高宽带、多应用的管道介入服务和内容填充,越来越多的互联网访问行为被记录。通过大数据技术,对海量数据进行清洗、分析、挖掘,构建用户画像,结合机器学习建立CTR预估模型、推荐模型等,使得广告、用户、场景之间匹配更精准。计算广告由此诞生。

2011年,Andrei Broder和Dr. Vanja对计算广告给出了业界比较公认的定义: 计算广告是为给定情景C下的用户U找到一个合适的广告a,以实现“最优”匹配(Find the “best match” between a given user U in a given context C and a suitable advertisement a.)。

2、计算广告之大数据技术难点

摸象大数据技术在计算广告中的应用

因为计算广告要处理的是广告主、用户、媒体三者的数据,所以数据量非常巨大,百万级别的媒体和数亿级别的用户,需要被分析处理。

在线投放系统具有高并发挑战,例如摸象大数据每秒需要处理来自各大Ad Exchange的10万次+的广告竞价邀请。

同时,在线投放系统对延迟也有严格要求。Ad Exchange要求DSP竞价在100ms内返回,在 100ms内DSP要做完所有的Target,CTR预测,选出合理的广告返回。

用户的关注和购物兴趣是在变化的,因此在广告推荐中,实时性非常重要。需要对用户特征、广告定向数据、个性化推荐结果等做实时更新,才能保证广告推荐的准确性。

3、计算广告系统架构

有很多大数据驱动的产品,就其技术架构而言,往往落地成个性化系统,即根据用户、上下文的一些信息动态决定返回什么内容的系统。计算广告就是一个典型的个性化系统。

摸象大数据技术在计算广告中的应用

由以下五部分组成:

1、用于实时响应请求,完成决策的在线投放引擎;
2、用于周期性的批量处理过去一段时间数据的离线计算平台;
3、用于在线实时反馈的实时计算平台;
4、连接和转运以上三部分数据流的数据高速公路;
5、用于存储计算结果并提供快速查询的数据存储。

这五部分相互配合,完成个性化系统的数据挖掘和在线决策的任务。

关于每一部分的详细介绍,附PPT如下:

摸象大数据技术在计算广告中的应用
摸象大数据技术在计算广告中的应用
摸象大数据技术在计算广告中的应用
摸象大数据技术在计算广告中的应用
摸象大数据技术在计算广告中的应用
摸象大数据技术在计算广告中的应用
摸象大数据技术在计算广告中的应用
摸象大数据技术在计算广告中的应用
摸象大数据技术在计算广告中的应用
0