随着新型智慧城市和数字城市的建设，各地的大数据和数字经济相关园区加速落地，大数据产业规模持续增长。据赛迪顾问预测，到2027年大数据产业规模将达到1.8万亿元。数字经济正在全面引领新经济发展，但如何让数据平滑流转起来，帮助企业更高效地进行数字化转型和业务创新，也成为摆在桌面上的关键议题。
近日，青云大数据工作台正式发布，通过为企业提供“数据上云、数据开发、数据同步、作业运维调度、引擎资源管理”的功能模块，致力于打通大数据全链路，降低企业大数据使用门槛，一键开启数据洞察之旅。
事实上，与大数据时代同频共振，青云大数据一直在行动。从2014年推出第一款数据产品至今，青云已经推出了近30款数据产品和服务，同时集成优秀的合作伙伴应用，形成了包括数据库与缓存、消息队列与中间件、大数据服务、数据仓库与BI、对象存储在内的数据产品生态。
青云QingCloud大数据产品经理刘雄风表示：“从最初的数据源接入，到数据的处理，再到数据的呈现，我们能在数据处理的任何环节提供可插拔式的数据产品和服务。”
数据开发与治理面对的挑战
多年来，青云在与客户的密切沟通与服务当中，洞察到现代客户的需求已经从最初关注“底层资源”问题，逐步升级到“数据层”问题。主要体现在几个方面：
一是数据同步。客户需要将数据库、数据仓库、消息队列等服务的孤立关系打通，实现数据同步。
二是实时计算。在 IoT 场景中，客户需要实时分析、处理大量的设备数据、监控数据，最终转化为设备报告和流程优化相关的信息和知识。在刘雄风看来，这种反馈实时性越高，对企业降本增效的效果会越好。
三是统一作业运维调度。虽然在大数据引擎方面，青云已经为客户提供了QingMR开源大数据组件，但还无法满足数据开发和作业运维调度层面的需求。
此外，客户还存在权限控制、数据仓库、数据服务等典型场景的需求。
五层架构打通大数据链路
我们知道，大数据的价值并不是数据本身，而是数据背后所隐藏的对业务有影响的信息和知识。大数据技术就是对数据不断地处理、加工和提炼，保证从数据中提炼出有价值的信息。
基于此，青云推出大数据工作台，通过整合青云完整的数据产品和服务，可为客户提供一站式智能大数据开发与治理工作平台，降低大数据使用门槛，实现数据在云平台各产品之间快速流转，消除企业“数据孤岛”，实现数据的统一调度和计算，最终帮助企业挖掘数据价值，提升数据洞察能力。
从架构来看，青云大数据工作台从最底层到最上层有五层架构，应对大数据全链路场景的需求。
第一层，云原生。基于云原生架构开发，支持容器化部署。
第二层，全托管式计算引擎。提供全托管式计算引擎服务，以Flink流批一体的计算引擎为基础，同时兼容多种计算引擎为一体的计算资源服务。
第三层，全生命周期数据开发。提供全生命周期的数据开发服务，通过向导式的数据集成，支持可视化数据加工、调度管理、资源管理、网络管理等多种场景。
第四层，高效的数据同步服务。提供高效的数据同步服务，能够兼容结构化、非结构化、半结构化的数据，可对数据进行实时、增量和全量的同步。
第五层，应对丰富的业务场景。包括BI商业智能分析、用户画像、增长分析和数据大屏等应用，为业务决策提供有效的数据支撑。
六大产品特性实现全功能、全场景覆盖
青云大数据工作台的产品特性可以概括为六点：
第一，开箱即用。几分钟即可完成环境的创建和部署，即开即用、便捷高效，一键开启数据价值洞察之旅。
第二，弹性扩容。具备云原生弹性扩容的能力，可以帮助客户合理地节省资源，提高资源的使用率。通过提供细粒度管控，最小资源使用的粒度只需要0.5 CU，支持按量、包年包月计费，可以更好地适配不同的需求，价格低廉，安全稳定。
第三，存算分离。与青云的对象存储服务无缝衔接，海量数据可以高效、低成本的存储，并支持数据计算按需扩容，极具性价比。
第四，开放兼容。拥抱开源，百分百兼容Apache Flink，支持平滑上云，通过内嵌的Connector可以无缝对接主流的数据产品和开源大数据生态组件。同时，客户可以将原有的大数据任务迁移到大数据工作台上，进行统一的调度和监控，节省运维和调度成本。
第五，安全可靠。按照云原生的架构模式进行设计，可以基于多种基础设施进行部署。内部功能模块以微服务的方式划分为多个组件，彼此之间相互隔离，避免相互影响。同时，所有的服务都具备高可用和高扩展能力，可以在部分节点故障的情况下保障服务的可用性和数据的可靠性。
第六，生态整合。除了青云大数据工作台本身提供的服务外，还可以在云上与其他产品紧密整合，连通云平台上孤立的多种数据存储的服务，让客户在云平台上的数据流转更加便捷。
在使用场景上，青云大数据工作台支持四种标准化场景，分别是精细化运营分析场景、实时计算场景、可视化开发运维场景、构建数仓场景。目前这些场景已经在青云的客户中投入使用。
精细化运营场景，主要面向中小型互联网或移动互联网客户。青云大数据工作台可以在用户画像、推荐、数据分析、大屏展示、数据治理等方面提供支持。
实时计算场景，主要面向对实时数据有加工处理需求的客户，如智慧工厂。青云大数据工作台可以在IoT终端实现实时数据分析、实时用户日志分析、实时运营数据分析、实时风控等方面提供支持。
可视化开发运维场景，主要面向以学习或者科研为目标的客户，青云大数据工作台可以在数据ETL、数据挖掘等方面提供支持。
构建数仓场景，主要面向在青云云平台上使用了消息队列、数据库、数据仓库、大数据计算存储的客户。青云大数据工作台可以在数据集成、实时或离线计算、数据存储等方面提供支持。
在数字时代，青云大数据工作台的发布，将帮助企业激活数据资产，释放数据价值，加速“数智”化进程！“通过深耕工业、交通等细分领域，我们形成了一整套相对标准的体系和方案。接下来，我们将推广到其他的行业客户中，除了应用到智慧工业上，我们还能应用到智慧零售、智慧政务和智慧校园，覆盖到四个‘数智’化场景，持续产生‘数智’化价值。”刘雄风说到。
