2016-11-23 15:12
整体解决方案
斐讯大数据平台是企业级的Hadoop数据平台,即EHDP—Enterprise Hadoop Data Platform,是在HDP2.3上进行企业级的延伸和应用。
平台采用的HDP2.3是Hadoop厂商的最新开源发行版,即Hortonworks Data Platform 2.3. 在此版本的基础上,我们进行了五大子平台的延伸与应用:即斐讯大数据收集平台、斐讯大数据存储平台、斐讯大数据运营管理平台、斐讯大数据离线分析平台、斐讯大数据实时分析平台等。
平台优势
支持SQL2003,存储过程和分布式事务
支持完整的 SQL99 标准和 SQL2003 核心扩展,可以运行 TPC-DS标准测试机的全部99个测试项
支持大部分 PL/SQL 语法,包括存储过程、函数、游标、逻辑控制、异常处理、包等功能
支持对数据的增删改操作,通过分布式事务处理保证数据修改过程之中的一致性
包含多级优化器和代码生成器,对 SQL 生成执行计划进行了大量优化,保证批量处理业务在平台上有非常好的性能
超强的数据分析能力
平台支持R交互式数据分析引擎同时内置了大量常用机器学习算法的分布式实现,可以与R语言中的数千个算法混合使用,可高速分析现有平台中的海量数据
提供包括文本分析、交易反欺诈、风险分析、推荐系统、故障检测在内的多个行业解决方案
采用自主或对接第三方BI工具实现数据分析的可视化应用
与数据分析生态系统的强力整合
支持完整的 SQL99 标准和 SQL2003 核心扩展,可以运行 TPC-DS标准测试机的全部99个测试项
支持大部分 PL/SQL 语法,包括存储过程、函数、游标、逻辑控制、异常处理、包等功能
支持对数据的增删改操作,通过分布式事务处理保证数据修改过程之中的一致性
包含多级优化器和代码生成器,对 SQL 生成执行计划进行了大量优化,保证批量处理业务在平台上有非常好的性能
完备的企业级解决方案
平台支持R交互式数据分析引擎同时内置了大量常用机器学习算法的分布式实现,可以与R语言中的数千个算法混合使用,可高速分析现有平台中的海量数据
提供包括文本分析、交易反欺诈、风险分析、推荐系统、故障检测在内的多个行业解决方案
采用自主或对接第三方BI工具实现数据分析的可视化应用
技术架构
特点1:海量数据的存储和处理
以日志2(K2路由器上网行为日志)数据最多,初步估计,1000W台设备半年共计:3PB
特点2:高并发请求
10分钟一个客户端请求,则每个客户端请求占据1/(10*60)秒,1000W客户端秒级并发约为:2000
特点3:高可用性
所有服务器,任何一台宕机,业务正常运转不受影响,消除单点故障
特点4:弹性可扩展
资源(存储空间、服务器)在线扩容,业务无须停止
案例介绍
通过在我们的大数据平台的高压缩存储和分析,建立20多种分析模型,并完成为用户的上网进行分析和算法模型实现,为用户的产品使用和体验给出准确的反馈和推荐。
案例与应用-如何按照用户上网增长曲线服务用核户
如户下图所示,用户设备激活量与销售量统计图,用户对设备的激活方式分布图等,为公司的产品研发、销售提供宝贵的分析参考。
案例与应用-如何按照区域服务用户
如下图所示,我们通过用户上网的行为数据进行提取分析,完成对用户的区域分布,为公司的产品销售提供宝贵的反馈和依据。
案例与应用-如何精准的找到用户并精准推荐用户喜欢的服务
URL爬虫分析,为用户上网提供智慧决策。
如右图所示, 针对不同的路由器,不同的用户,访问不同的web地址,我们对出现此类情况下的出现的电话号码的频次进行统计和排名,以出现频次最高的来锁定用户的电话号码,进而为用户精准推荐打好基础。以此类推,得到用户的电商ID,和其他社交ID。
总结与展望
展望一:为用户带来价值.
在数据分析的大框架下,通过对用户行为监测获得的数据进行分析的行为归结于用户行为分析。用户行为分析可以让产品更加详细、清楚地了解用户的行为习惯,从而找出网站、推广渠道等产品营销环境存在的问题,有助于产品发掘高转化率页面,让产品的营销更加精准、有效,提高业务转化率
展望二: 保护用户数据安全
数据安全:保密性、完整性、可用性、真实性、授权、认证和不可抵赖性。由于法律系统持续关注电子证据发现,云服务提供商和数据拥有者将需要把重点放在发现数据并确保法律和监管部门要求的所有数据可被找回。这些问题在云环境中是极难回答的,将需要管理、技术和必要的法律控制互相配合。
规模:1000人以上
网站: http://www.phicomm.com/cn/
粉丝0
服务热线:010-58423356