2017-02-28 16:46
润宇数据分析及挖掘方案是结合润宇服务器、存储及自主研发XRoot软件、XRLustre文件系统,面向用户业务需求,集海量数据存储、多源异构数据整合、统一数据目录、数据分析与挖掘、数据可视化等功能为一体的软硬件平台整体解决方案,在特制机柜中,集成服务器、存储设备和高速网络设备,并部署模块化的大数据软件,支持EB级海量数据处理,可以应用于海量科研实验数据、图片、视频的存储与分析处理和挖掘。
主要功能介绍
适应EB级底层存储:基础设施层采用集群分布式存储系统:润宇XRLustre,对EB级海量数据存储提供支持,并在不中断服务情况下支持弹性扩容,同时具有读写速度的高带宽和低延时。
数据虚拟化: 根据数据整合标准规范体系,进行多源异构数据整合,能整合多来源、多种结构的数据,包括结构化数据和非结构化数据,并支持数据的实时接入,同时,根据用户需求,构建数据资源中心,提供统一数据访问接口,为用户提供透明的、按需的数据服务。
适应数据结构的混合存储策略:在数据资源中心,根据数据的不同类别,选择合适的存储持久化方式。针对结构化数据,采用分布式数据库的存储方式,例如MySQL Cluster或Oracle RAC方式;针对非/半结构化数据,采用分布式文件系统的集群存储方式,例如采用润宇XHadoop或Spark系统进行存储。
提供灵活的数据访问:对上层应用,提供数据统一访问接口,支持数据的增删查改操作,访问接口支持SQL,可以多种方式提供,包括JAVA API,REST方式等,为数据目录、数据检索、数据统计分析、系统二次开发提供接口支撑,方便面向业务的深度数据挖掘和商业智能分析。
提供快速数据索引:接口部分通过引入索引模块、并行执行架构和优先读取本地磁盘的执行方式,使查询达到了实时完成、简单易用、高可靠安全的效能,使EB级的数据能够秒级处理,极大地提高了用户执行查询操作后的使用效率。
面向业务的数据分析与数据应用:提供数据目录、数据挖掘、数据检索、数据统计分析、报表展示等数据分析模块,支持数据关联分析、数据分类聚类、数据预测等数据应用,以及仪表盘、图表等多类型的数据可视化呈现。
数据安全体系:采用身份认证、加解密技术、网络隔离和日志审计技术,实现用户统一认证、访问控制、安全隔离、审计控制等安全保障。
用户受益
由于业务系统所产生的数据类型复杂,同时也要能够满足高并发响应的场景需求,传统的数据处理架构已不能满足业务应用的需求。
润宇数据分析及挖掘解决方案随着节点数的增加,性能呈线性增加,为用户后期的线性扩展提供了最有利的保障。
润宇数据分析及挖掘解决方案为用户提供的分布式数据库,采用key/value键值对的形式进行查询,在企业用户按照名称和注册号进行模糊或精确查询进行信息查询时,可实现真正的秒级查询。
润宇数据分析及挖掘解决方案,在高并发的场景下,可实现多节点同时工作,多数据副本同时访问,有效的解决了传统架构在高并发场景下延时高,响应缓慢的问题。
润宇数据分析及挖掘解决方案中集成的润宇XRoot,支持多种树、图等复杂的数据存储结构,具备高速I/O操作的数据访问接口,拥有神经网络、贝叶斯分类器等多种聚类算法,以及快速傅立叶变换、Hough变换、卡尔曼滤波等数据处理手段,具备多变量分析等高级统计分析技术。