北京治白癜风好 http://m.39.net/pf/bdfyy/bjzkbdfyy/数字化时代，数据已经被许多企业视为核心资产，而对数据的使用也成为企业的核心能力之一，每家企业都希望通过数据产品支撑业务获取更大的发展空间。然而，许多企业在基础的数据平台建设上就已经面临种种挑战，网易猛犸大数据平台，依托网易大数据多年技术沉淀和实践积累，致力于为企业提供一站式大数据应用开发和数据管理平台。近日，网易猛犸最新版本正式可用，重点解决企业在数据系统建设过程中，遇到的指标口径不一致、数据接入效率低、数据管理不够灵活等问题。
集成指标系统，统一指标口径许多企业的业务场景中，数据类型丰富，应用种类繁多，但是数据指标命名却非常的自由，相同的指标名称会有多个不同的定义和口径。比如某新零售企业在供应链系统、VIPApp和商品运营系统中查询某款产品的毛利，看到的数据是三个截然不同的数字，这给数据分析工作带来了极大的困扰。网易猛犸的指标系统从业务口径、计算口径和数据来源三个层面着手，采用统一的管理规范，包含统一入口登记、助力数据规范定义、助力数据模型规范设计等功能，并引入审批机制。同时，指标系统和应用系统打通，实现了多个不同的应用系统指标的管理一致性，显著提升了数据分析师的效率。在客户的实际场景中，最终实现%消除指标口径不一致，指标数量减少50%，同时理解一个指标的含义时间缩短80%。统一查询服务，提升数据接入效率通过指标系统解决数据不一致、口径不一致的问题，指标系统创建维度、指标、模型和应用，而统一查询服务可用于构建他们之间的关系并支持调用接口查看数据。网易猛犸的统一查询服务通过数据API、访问日志、授权认证、支持多种查询引擎、支持逻辑模型等加持，一方面协助指标系统实现%消除指标口径不一致，另一方面消除了数据字段变更与应用的强绑定，通过建立数据产品到指标的链路追踪，明确应用到表的访问链路，避免底层表暴露给数据产品，使得数据接入效率提升10倍以上。集成单点登录，实现子系统的全局登录和登出网易猛犸的单点登录基于认证服务，实现了子系统的全局登录和登出。比如已经登录了猛犸平台，在登录指标系统时，不需要再次输入用户名和密码，而如果在指标系统执行登出操作，在猛犸平台也会处于登出状态，同时，支持业务系统中其他子系统的登陆集成，实现多个子系统只需一套登录系统管理的目的，从而对登录状态有一个全局的把控。自助分析功能不断完善网易猛犸最新版的自助取数所支持的语法越发丰富，在控制好个人权限的基础上，支持更多的SQL语法。此外，还支持SQL语法解析和表分析错误的页面行数可视化定位。自助取数的操作更加友好，由原本报错不知所云的情况，改变为对错误原因定位和翻译，显著提高数据分析师的开发效率。查询日志中支持Yarn日志跳转。在Query的查询日志中，涉及Yarn的查询操作，提供Yarn日志链接，支持点击跳转至Yarn界面，通过App名称详细查看执行过程。进一步完善数据血缘的定义和查看数据血缘是指数据产生的链路关系，有助于帮助我们追溯数据质量产生问题的根源。网易猛犸一方面对数据血缘的定义做了进一步完善，比如支持sqoop任务数据血缘，支持MR、Spark、Script添加自定义血缘；另一方面基于数据血缘，完善了调度的依赖功能，可以快速推荐节点，也支持手动搜索添加，使得数据开发人员在任务调度设置时提高了工作效率。同时，在任务运维方面，任务列表支持快捷查看血缘，任务血缘支持按照层级选择，任务血缘的深度越大，更全面的展现与当前任务有关的其他任务的血缘关系。此外，网易猛犸本次的产品更新还包括：开始支持Spark2.3版本，Hadoop也升级至2.9版本；数据质量稽核监控支持自定义SQL创建规则，且增加对表的质量评估功能；数仓管理页面改造，支持数仓主题域和层级的创建管理等。更多详情，可点击下载白皮书了解。预览时标签不可点收录于话题#个上一篇下一篇
