我来分享大数据分析及应用案例-精准营销。

大数据分析及应用案例- 基于用户行为分析的产品推荐及销量预测信息分析研究部1大数据分析上苏宁目前现在遇到的技术问题• 大数据分析应用上需求 访谈对象： 张侦 苏宁商业智能中心技术团队• 基于用户行为分析的产品推荐• 如何更好地控制用户行为数据中的由于促销等活动所引起的数据短时突变。• 面向用户的个性化推荐如何控制计算代价• 如何平衡推荐效果和推荐的丰富度• 产品销量预测• 库存优化• 促销管理• 基础架构• 构建商品及用户的词库管理系统2案例一： 一家中国零售商通过洞悉客户情绪及潮流趋势得以创建效果更好的产品组合并且更加有效地销售它们案例一： 一家中国零售商通过洞悉客户情绪及潮流趋势得以创建效果更好的产品组合并且更加有效地销售它们节省90% 将面向交叉销售的全套服饰搭配时间缩短90%，消除了数小时的手动工作发现趋势通过洞悉消费者情绪以及提高经销和库存管• IBM ® WebSphere ® Commerce Enterprise• IBM中国研究院• IBM业务伙伴SAP• IBM业务伙伴西安筋斗云科技有限责任公司(Xi’an Smartcloud Technology Co., Ltd.)解决方案的组件智慧的零售业务 挑战 战： ：这家零售商希望提高对流行趋势、消费者需求及其对服装销量影响的感知力—以便提高营销活动的个性化水平、产品推广活动的智慧性以及库存规划水平。

智慧的解决方案：公司扩展了产品视图以便指导他们开展推销与营销活动。全新的分析引擎能够从种类繁多的数据中发现模式 — 销售事务、网站分析、客户资料、产品评论和社交媒体内容 —从而了解公司服装的购买方式、地点和人群；客户喜欢或者不喜欢某个产品的哪些地方；市场中的最新流行趋势是什么。这个全面的产品视图还能帮助零售商通过调整产品线和库存来响应需求变化并且开发出个性化营销方案，从而增加销量。现在，客户的市场影响力比以往任何时候都更加强大 — 不仅包括他们所说的内容，而且还包括他们的行为方式与所购商品。为了取得成功，零售商必须要聆听客户心声，并且使用客户心声来指导业务决策。通过洞悉消费者情绪以及提高经销和库存管理水平来发现趋势锁定客户通过个性化购物体验来增加销售量及客户购物金额3个性化推荐案例场景一：服装搭配点击获取商品信息服务器端功能4推荐搭配列表服务器端功能 个性化搭配系统– 个性化模板库– 个性化模板建立及标签模块– 组合规则库及自学习模块 个性化推荐– 商品搭配– 添加/删除商品– 社交媒体分享支撑技术：基于用户行为分析的个性化推荐• 利用各种异构数据（交易、行为、社交、内容等），为不同的商业场景提供相应的个性化推荐技术方案 应用场景基于用户行为的推荐根据用户的历史交易及行为，对用户偏好进行建模，进行个性化推荐基于社会关系的推荐 用户消费行为受到所处的各种社会关系网络的影响基 友关系 组织成 关系 信任关系等进行5，基于朋友关系，组织成员关系、信任关系等进行个性化推荐基于隐含要素分析的推荐商品和用户偏好有很多隐含要素组成，通过隐含要素分析，预测用户对商品的偏好程度基于边际效应的推荐 利用经济学原理，挖掘出不同商品的边际效应程度大数据精准营销案例，区分频繁购买商品和非频繁购买商品大数据精准营销案例，使系统更好的符合真实世界用户的购物行为，提供精准的商品推荐及营销 技术优势– 利用各种异构数据（交易、行为、社交、内容等），提高推荐精度– 基于边际效应的推荐– 基于用户上下文信息的推荐案例二： 个性化私信营销互动6个性化推荐案例场景二：产品经理查看推荐用户的画像7支撑技术：基于心理学模型的个性化建模•根据人的性格定位推销相应产品并互动•海外银行及国内银行案例买家画像乐活族 技术宅都市小白领小清新外观漂亮 78.2%> Ta 们的评价看看都是谁买了这款产品？都市小白领小清新系统流畅分辨率高功能丰富67.1%51.2%34.4%屏幕大手感舒适60.3%41.5%> Ta们还购买了们还购买了> Ta 们的评价> Ta们还购买了们还购买了8•对竞争对手间关于产品及服务方面用户的多维度反馈比较•利用深度情感挖掘技术给出每个维度用户的满意度及关键点•给出不同时间段不同地域的对比图TDBankBMO案例三： 产品服务细粒度对比Service RefundsService Fees/ChargesDebit Cards9个性化推荐案例场景三：细粒度的产品分析来改善个性化推荐的精确度Original Review Sentences101. Tokenization & POS taggingDSM Engine2. Named Entity Recognition3. ProductAspectCategorization4. Aspect-oriented Sentiment Association5.Personalized SentimentScoring6.Aspect-orientedSummarization支撑技术：基于机器学习的深度情感挖掘Product-AspectCategorizationmodelSentiment AssociationmodelNamed Entity Recognitionmodel DSM Model将社交媒体数据及情感分析结果用以销售预测情感分析对于预测精度有很大的提升实际上线部署分析• 46周的销售数据加上15周的社交媒体数据用以训练， 来预测未来的销售额• 某款相机: 预测精度，MAPE（平均绝对百分比误差）从31%降到了16% 案例四：零售行业销售预测12在预测模型中加入社交媒体中相关品牌产品的数据量信息及情感挖掘信息很大提升了预测精度支撑技术： 将社交媒体分析加入销售预测模型“Bought a Nikon Coolpix S6300 + waterproof case. Can’t wait to play with it.”“We love our Canon camera and put it to good use, but there are other models you should explore before 去除噪声数据文本分析社交媒体数据商品标准名称 品类 品牌 产品名 格式 系列 子系列Nikon D90 12.3MP DX-Format CMOS Digital SLR Camera camera Nikon D90 DSLR _ _Canon EOS Rebel T31 camera Canon T3i DSLR EOS RebelHarry Potter Half Blood Prince PS2Video games- Half Blood PrincePS2 Harry Potter-用以加入预测模型的分析结果用以加入预测模型的分析结果“Bought the wife a Nikon Coolpix S6300 + waterproof case. Can’t wait to play with it.”“Bought the wife a Nikon Coolpix S6300 + waterproof case. Can’t wait to play with it.”“We love our Canon camera and put it to good use, but there are other models you should explore before purchasing”“We love our Canon camera and put it to good use, but there are other models you should explore before purchasing”讨论量“We love our Canon camera and put it to good use, but there are other models you should explore before purchasing”“We love our Canon camera and put it to good use, but there are other models you should explore before purchasing”purchasing.”“#TodayDeals The Things I Want To Do Buy a Select Sony NEX Compact System Camera, Save $50 on a Qualifying Lens”“ Enter to win a New Nikon D800 from KEH Camera, The World’s Largest Used Camera Dealer bit.ly/KDVvXi ”商品及商品属性识别识别结果消歧将识别结果同商品列表匹配去除噪声数据购买意愿情感挖掘结果用户反馈分析“Bought the wife a Nikon Coolpix S6300 + waterproof case. Can’t wait to play with it.”“Bought the wife a Nikon Coolpix S6300 + waterproof case. Can’t wait to play with it.”“We love our Canon camera and put it to good use, but there are other models you should explore before purchasing”“We love our Canon camera and put it to good use, but there are other models you should explore before purchasing”产品认同感13Demo: 大数据信息分析管理平台应用案例 EagleEye26.2% of the world is online1.8 billion people are online today and this number is estimated to reach 2.2 billion by 2013ApplicationsConsumer Electronics• Brand Analysis• Product Utility Mining• Technology Trend AnalysisTelecommunications• Service Quality Analysis• Competitor Analysis• Customer Analysis• Location Based Analysis Finance & Insurance• Market Analysis• Competitor Analysis• Customer Service AnalysisRetail & CPG• Service Quality Analysis • Consumer Requirement Analysis• Emergent Event Detection63% research via social networking47% of the time they are influenced by what is readUser generated content91% of consumers ranked peer input as the #1 aid to a buying decisionEagleEye ServicesComponent Web Services Application Web ServicesDeep SentimentMiningNamed Entity RecognitionEntity RelationExtractionTaxonomy ManagementTopicDetectionEntitySearchEntity & Cat.BrowsingEventTrackingTrendAnalysisOpinionDiscoveryCompetitorAnalysisData Storing / Data Access / Search InterfaceAnalytics CloudBig Insights and Streams DB2SmarterCommerceMobile 1 st EMMSMA14短期目标 –大数据分析1. 构建后台关联知识库: 从产品自身属性、说明书、销售记录、用户评论提炼知识点，并且建立语义关联网络；2. 标准化用户查询：把口语化的、不规范的查询补充完善，并映射到标准产品术语；3. 理解用户的查询需求：对用户需求进行语义归类及消歧；4 4. 基于语义关联做精准搭配推荐产品描述和说明 销售记录 用户评论数据源标准化用户查询理解用户的查询需求精准搭配推荐应用层客户偏好及客户分群 产品竞争力分析分析模型产品竞争力分析 产品的社会化属性 产品相似度分析标准化用户查询理解用户的查询需求精准搭配推荐15大数据信息分析管理平台的设想应用展现层交易数据用户信息Session数据LOG 信息产品评论电话中心商品描述图片社会媒体流媒体非结构化信息挖掘结构化数据分析中文语义搜索技术中文分词及书写检查技术文本分类技术命名实体识别深度舆情分析文本主题识别UIMA个性化推荐交互式文本信息可视化数据关联(网络)可视化数据存储及索引存储(Pig, Hive, HBase) 索引(Solr)Map-reduce (Hadoop + Adaptive Map-Reduce)文件系统( GPFS, HDFS)订单信息商品信息LOG 信息结构化数据在线咨询非结构化数据非结构化数据流媒体视频16Traffic Engineering – real use cases in eBay~600 different running types of emails, always create/evolve new types of emails -Format design: customization -Decide whom to send-Design marketing message contents• Eg1, if a person did some search, and looked at the search results, but did not buy. eBay will analyze the customer, and send him a follow-onemail• Eg2 if a person bought some product in a week eBay will send him an© 2013 IBM Corporation 17Eg2, if a person bought some product, in a week, eBay will send him an email to recommend relevant products- Value: if turned down, will see immediate 15~20% eBay customer trafficTrust Science – real use cases in eBay•How to protect users from bad behaviors•Prevent identity theft •Build predictive model to detect/predict mal actions• Eg, if someone logs on in strange time and search on random items