|
A）数据源要求：
1、结构化数据需覆盖公司现有以及目前可预见的所有业务，并涵盖各全资子公司以及控股子公司相关业务，同时也包含公司日常运营数据。
2、半结构化、非结构化数据。大数据平台整合手机App、微信、客服等各渠道客户数据，提供完整的客户行为分析，为系统优化、产品设计、营销提供更好的建议。
B）数据仓库模型要求：
1、数据仓库模型作为本项目的重要交付内容，设计应结合本公司实际情况，须满足以下要求：
可扩展性：在涵盖公司全部业务的基础上，对因由公司发展而产生的新业务以及业务变化具有可扩展性，以满足实际业务需要。
稳定性：能在5-7年内保持核心模型的相对稳定，不能因业务要求或业务发展产生颠覆性调整。
开放性：模型对本公司项目组人员具有开放性，本公司IT人员能熟练掌握模型的设计理念并参与设计以及二次开发。
规范性：模型设计、管理、调整等具有规范化流程，并使用规范化语言，便于IT人员理解，同时便于其与业务部门人员沟通。
前瞻性：本次数据仓库建设将最终为数据挖掘、数据分析以及建设公司级公共数据服务平台打下基础，故模型设计需具有一定的前瞻性。
2、数据仓库模型设计应以主题为各业务线的支撑，该体系不因职能部门调整以及业务扩展而轻易改变，主题举例如下：
①当事人及当事人角色②协议③产品④内部机构⑤事件⑥渠道⑦财务⑧资产⑨位置⑩营销等。
3、数据仓库应用要求：
①建立一个统一的门户，能够提供丰富的、灵活的应用集成、配置功能，支持将多种类型的应用集成到统一的门户中，为使用者提供统一的、公共的访问入口。
②统一门户能够集成主流 BI 工具开发的应用，包括菜单管理等集成功能，简单配置，就可实现外部应用挂载。
③统一门户管理人员能够经过简单的配置就可以实现用户的管理以及用户访问权限的控制。通过对于访问菜单权限和数据权限独立配置管理的方式，使菜单和数据访问权限的控制更加灵活和简洁。
④统一门户具有审计功能。系统在运行过程中，能够记录下操作人员的详细操作轨迹，包括操作人员的登录 IP 地址、登录时间、退出时间、驻留系统时间、浏览过的菜单内容、操作过的内容等，同时也提供日志查询功能。
4、数据仓库平台架构。
数据仓库架构应确保灵活及可扩展性，保证能够满足未来数据范围、系统功能的不断增加要求，具体要求如下：
(1)、数据仓库数据存储应有明确的结构层次，可分为：
①贴源层是EDW层模型基础；提供原始数据共享以及重用；原始历史数据保留；支持原始查询核心层。
②数据仓库核心层，提供最细粒度的明细数据查询；解决信息孤岛问题，完成数据标准化；为其他应用提供明细标准化统一数据，形成相对独立于业务的数据模型。
③通用指标层，按证券行业通用维度汇总，形成指标化数据；构建客户、营业部等统一视图；提供口径一致的基础数据。
④业务指标层，按公司业务中具有公用的指标汇总数据，形成专项业务指标，可在此基础上构建报表、KPI等应用集市，并为其他应用提供业务基础数据。
(2)、ETL数据处理要求：
数据加载采用成熟稳定的ETL工具，数据仓库各层次间清理、转换、汇总、计算可采用库内转换也可以利用ETL工具，整个处理流程时间控制在3小时内。我公司开发人员深度参与ETL实施过程。
(3)、统一监控管理以及调度等要求：
①监控管理：具有对数据仓库日常管理、监控、故障处理、日志分析功能。
②备份管理以及应急机制：具有完整的系统备份、灾备、应急方案。
③数据转储：随着数据量不断增加以及本身数据仓库平台的限制，需设定转储机制将历史数据以及长时间闲置数据进行转存。
④调度管理：具有完善的调度机制，具有常用的串行、并行、前置条件等常用设置以及日、月、年等控制，能对整个数据处理过程加以严格控制。
⑤数据质量管理：在数据的传输、转换和处理，要确保数据仓库的数据质量，确保数据的正确性、完整性、一致性、完备性等。有着相关数据质量监控、数据质量管理等功能，并且能够形成数据质量知识库。
(4)、支持统一数据访问以及服务要求：
①应用系统支持固定报表、即席查询、多维分析、仪表盘、统计分析等方式。
②应用系统建设中如采用第三方BI工具的，请在方案中注明所使用工具，如：Cognos、BO、BIEE等，在应用系统中的使用范围，是否具有代理资格。
③通过智能分析平台，业务人员如同使用Office Excel 一样，能方便的在线对数据进行分析。同时分析结果能发布到数据门户或者嵌入其他业务系统（如CRM、呼叫中心）中，以方便一线的人员（如客服人员、投资顾问）使用。
④支持不同报表类型，可定制化报表，提供多方位的信息视图。
(5)、统一数据管控要求：
①在项目建设中，应结合本公司情况，明确数据质量管理的方法以及相应工具。定义数据质量的规则，进行数据质量的评估、监控并形成报告，不断提升数据的一致性和准确性。
②通过数据质量管理能有效地预防、发现、控制问题，进行及时解决，并通过不断统计、分析，加强数据质量控制。
(6)、大数据架构支持要求：
数据仓库架构能有效支持大数据平台架构的扩展或融合，需要将现有结构化数据、半结构化数据、非结构化数据及相关存储和处理技术、平台有机融合在一起，形成证券公司新一代全结构数据的采集、处理、存储、分析和发布平台。
|
