大数据智能应用解决方案

咨询商务

大数据体系

大数据时代有效利用创新业务内容及模式,通过快速满足用户的个性化需求,增加用户黏性,是大数据为运营商带来新的机遇。 迫切需求通过大规模的数据计算能力提供大粒度的数据创新应用。根据大数据体量巨大、类型繁多、处理速度快、价值密度低的四大特征,大数据处理的关键技术,主要体现在能够有效地处理大量的容忍经过时间内的数据。

蓝太平洋大数据平台采用成熟的架构,采用数据采集、数据处理、数据分析、用户画像、数据推荐等技术,可以为用户提供大数据平台搭建、数据接口与清洗、访问行为分析、系统监控、互联网数据采集与分析、画像推荐等服务。

数据采集与整合

传统生产系统数据采集: 对于企业生产经营数据或学科研究数据等保密性要求较高的数据,使用特定系统接口等相关方式采集数据。

网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来,将其存储为统一的本地数据文件,并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集,附件与正文可以自动关联。除了网络中包含的内容之外,对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。

蓝太平洋结合多年的数据监测和采集经验,形成了一套全面的数据采集系统,包括采集网站、微信、微博、论坛、APP、贴吧及各类业务系统数据,并可以进行全网采集、定向采集和智能分析。

数据分析

  • 用户洞察分析

    基于庞大的数据处理能力与广泛的产品覆盖,为客户提供快速、精确以及多维度的用户群画像服务。解决人群圈选、运营决策、营销推广以及用户分析等业务问题.

  • 区域人流分析

    依托大数据计算平台对人群动态进行跟踪和分析,对城市警力、交通、电信等公共服务资源进行及时的优化配置。辅助商业决策制定,让企业的商业行为紧贴目标客户群。

  • 搜索能力

    基于在搜索领域多年的技术积累,通过对公司内部及各大垂直业务搜索需求进行高度抽象, 把搜索引擎组件化、平台化、服务化,形成的一套成熟的搜索开放能力。

  • 语言处理

    基于并行计算、分布式爬虫系统,结合独特的语义分析技术,一站满足NLP、转码、抽取、数据抓取等需求。基于API可实现搜索、推荐、舆情、挖掘等功能。同时支持定制化语义分析方案。

  • 通用推荐

    基于海量数据,多年个性化推荐业务经验积累,打造的开放通用推荐系统。业务可以天级接入,同时也可基于通用开发和画像实时接口自定义开发推荐逻辑。

  • 全端数据

    客户端埋点、服务端日志、业务数据库、第三方服务,全面覆盖,统一管理 ,自由整合。

数据处理与存储

Hadoop是一个能够对大量数据进行分布式处理的软件架构, Hadoop实现了一个分布式文件系统HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。

Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中,这使得其可以通过简单的节点扩展,实现PB 级数据的处理。

蓝太平洋大数据画像

蓝太平洋用户画像系统,根据用户基本信息和访问行为为每个用户进行画像建模和精准信息推送。

  • 协同过滤算法:基于共同的用户特征的推荐,例如同是某一地区的用户,同是某一个学历层次的用户。基于内容的推荐,例如访问过某类新闻的用户,推荐相似的新闻;推荐过而没有被点击的新闻,即用户不感兴趣的新闻权重降低

  • 基于关联规则的推荐:给用户推荐不同类但存在关联的新闻。例如A新闻和B新闻经常同时被一个用户访问,那么给访问A新闻的用户推荐B新闻

  • 算法:访问过相似数据的用户,推送其他用户访问过的新闻。例如A用户访问过新闻1、2、3,B用户访问过新闻1、2,那么就可以给B用户推荐新闻3

数据采集与整合

蓝太平洋大数据实验室搭建的目标就是搭建所有大数据平台的组成元素,实验人员、学生可以通过实验室进行实验以及测试活动,利用大数据实验室的环境,在相对精简设备条件下,结合大数据技术的特性,按照项目的模式,完成一定的业务需求应用。

在业务需求应用实验的过程中,大数据实验室根据实验的过程调整合适的系统组成、系统或软件产品版本、方案的服务需求,给出合适的评价,并根据评价的结果选择最合适的技术及部署环境。

数据因其海量数据的最基本的要求,主要依托分布式处理环境,实验室设备以x86 PC Server为主。基于x86设备部署云化环境。大数据实验室环境依托Hadoop平台环境,混搭其他技术平台构建完整的实验室环境。

售前咨询
公司总机:4000043998 01056155355
24小时电话:010-5615999818601349900
投诉电话:18910191973
值班售后/技术支持
售后服务/财务
备案专员
紧急电话:18610088800