天天滚动:数据中台坠落神坛,数据服务平台闪亮登场,阿里、快手又整烂活?

2022-10-20 09:57:59   来源:商业新知网

2014年,马云从芬兰游戏公司Supercell接触到中台概念后,在阿里内部积极践行,开创了“大中台、小前台”的组织机制和业务机制。


【资料图】

2015年阿里启动中台战略,同年数据中台概念开始深入互联网公司2016年数据中台概念大火2018 年因为“腾讯数据中台论”其再度成为了人们谈论的焦点2020年,阿里却提出要拆中台。

数据中台,仿佛一夜之间坠落神坛。

阿里推出数智服务新品牌瓴羊

峰回路转,2022年阿里又提出DaaS的概念,数智服务平台闪亮登场。

环顾大厂也都纷纷推出数据即服务产品,比如:快手的大数据服务化基础平台、麦聪的DaaS平台等等。

01

数据中台是个失败产品(概念)?

国内所有的数据中台厂商面对客户或者投资人时,总会从马云或者阿里的故事开始讲起,给大家介绍什么是数据中台。

故事很美好,可这么多年过去了,数据中台还是一个仅仅停留在国内的概念,国外没有翻译数据中台这个词的。

不是因为大家不愿意认可这个词,而是确实没有产品能和这个匹配。其实现在谈的多的还是数据库,数据仓库,数据湖,另外ETL,元数据管理,数据目录,SQL工具等。

我们的的数据中台太大了,大得只要是数据的功能全有(当然还有些方法论),大而不精是和产品理念相反的,所以推了这么多年也没有成就一个业内标杆产品。

某数据中台产品架构

但是数据中台的核心概念:One Service,统一数据服务却是在全球都普遍认可的,Snowflake同样讲数据服务化这个概念,Data as a Service,就是数据SaaS,把数据的使用都变成标准的服务。

阿里16年提出所有的数据只加工一次的理念

数据服务平台更像是回归初心的数据中台2.0,或者说数据中台核心概念的升级且成熟的产品。

02

数据服务平台解决什么问题?

步入数字化时代,不光字节、快手这样的典型数据驱动的互联网公司,全球企业都在进行数字化转型,转型的方式多种多样,但核心目的都是利用数据帮助企业实现精细化运营和新增长。

企业利用数据很重要的一点就是靠数据开发工程师根据业务需求开发好高质量的数据,继而开发稳定可靠的数据服务交付给业务方使用。

知乎提问:很多学生想转向大数据开发工程师

这种方式存在两大痛点,也是数据服务平台主要解决的问题:

(一)数据服务开发难,需要考虑很多因素:

数据如何交付:业务通常期望使用数据接口方式来使用数据,而非数据表,这会更加灵活、解耦、高效。数据开发工程师因此需要建立对应的数据服务。

服务如何开发:数据服务有多种形式,通常要求开发工程师有微服务知识、服务发现注册、高并发等。

权限、可用性问题:开发完数据服务后,需要考虑权限问题,确保数据资源能被安全的访问;此外还需要考虑可用性问题,要以多种手段保障数据访问的稳定性。

运维问题:数据服务本身涉及多种运维问题,如扩容、迁移、下线、接口变更、服务报警等。

数据服务开发并不只是简单取数

以上问题都需要数据开发工程师去解决,这就要求数据开发不仅仅是开发出数据表,还需要将数据表包装成一个独立的、灵活的、高可用的、安全的数据服务。

所以数据开发工程师除了具备基本的业务需求捕获、数据建模、SQL开发等能力外,还要具备开发高可用、高性能的数据服务能力(包括java开发、微服务等)。

由此可见:数据服务开发本来就很难,高水平的数据开发工程师也十分难得,而且数据开发大部分的时间都被临时取数的需求占据,根本无法专注在数仓模型、数据集市构建或运维。

(二)数据服务重复开发:

一般公司有很多业务线(如支付业务、直播业务、账户业务等),都存在数据需求,各业务线都做着:1)数据同步到线上数据库和缓存;2)建设微服务等开发。

传统模式重复开发数据服务

其中不同业务线下,数据同步和微服务通常有很多共同之处,重复烟囱式的开发意味要重复开发数据服务,造成了人力资源浪费,而且开发效率低,从数据开发到最终交付数据服务,需要经历较长的周期。

03

数据服务平台介绍

数据服务平台的核心就是简化数据的生产加工,提高数据服务的效率,避免重复开发。

解决数据服务开发难问题

用户可以通过平台来创建、修改数据服务接口(数据API),数据开发工程师甚至不再需要手写数据服务,只需要在平台上进行简单配置就能创建数据API,从而提升效率。(当然也有写代码的形式可供技术人员进行选择。)

创建好的数据API存放于数据市场,有权限的业务方直接取用。

此外:数据服务平台的产品还能提供数据治理体系的一系列功能。

数据治理相关功能

(一)数据服务开发:

API开发:开发人员通过配置或代码的方式快速生成数据服务API;配置模式主要由选择框选取所需数据库表以及输入输出参数字段,代码模式主要由SQL编写更复杂的数据访问需求。SQL工具:开发人员用SQL编写更复杂的数据访问需求。

(二)数据服务共享:

数据超市:开发人员已经开发的API可以放在数据超市,供业务人员申请使用。以消费者角度出发,更人性化的让业务人员对于API接口随时消费,随时调用。高级搜索:系统提供类Google方式的检索,对企业数据进行模糊查找,快速定位用户所需数据。即方便用户通过自己对业务的理解来查看相关数据。

(三)数据服务管理:

数据目录:跨异构平台集成数据、企业数字资产一目了然。(按照公司业务、部门或者其他标签方式将企业数据以目录形式展现出来)数据质量:自定义质量评估标准,自动诊断企业数据质量。

(四)系统管理监控:

统一权限管理:DaaS平台上所有的用户都对应不同的角色和与之对应的权限,由管理员进行管理;相应的API都需要进行申请方可使用。

关键词: 数据服务 开发工程师

上一篇:
下一篇:
精彩阅读

全球快资讯丨数据中台前世今生(三):互联网下半场+数字化转型=数据中台

热点

时间来到2018年,对于绝大多数互联网企业来说,这一年绝对是煎熬的一年。

世界微速讯:产业要闻 | 最大规模公募REIT获批上市;中国邮政跨界开生鲜超市

热点

此外,与超算中心相邻的武汉人工智能计算中心已完成二期扩容,算力达200P。

世界速递!陕西广电网络5G业务发展调度会:全力推进规模放号

热点

他鼓励全网鼓足干劲,坚定信心,全力推进5G业务发展,确保全年目标任务完成。

天天快资讯丨SaaS入门,看这篇就够了

热点

客户可以按照自己的需求部署SaaS,分别为公有云、私有云和混合云。

今头条!声势浩大的Aptos有什么来头?A16z、Facebook会不会产“天亡”?

热点

AptosLabs已于昨日(10月17日)宣布区块链主网AptosAutumn上线。

资讯:芥子纳须弥!元宇宙新物种有多神奇?

热点

在他看来,AR不但能加强与人之间的联系,而且还能拥有比VR更大的应用潜力。

全球信息:采量服务&聚合服务&SaaS服务——AdMate全链路服务,让每一款应用的商业化价值都释放到极致!

热点

商业化过程中,APP应用处在不同的生命周期和发展阶段,会有着不同的业务诉求和重点。

财富

环球新动态:融资丨「未卡VETRESKA」完成5,000万美元融资,Quest FoF投资

资讯

融资丨「未卡VETRESKA」完成5,000万美元融资,QuestFoF投资,本次战略融资完成后,未卡将拆分其宠物用品和宠物食品主体,使集团未来管理更灵活,

世界看点:宝马新能源再战中国:MINI要“中国造”、电动产品全面出击

资讯

宝马新能源再战中国:MINI要“中国造”、电动产品全面出击,在中国,宝马新能源业务能改命吗?

【热闻】罗永浩淘宝“双11”首播,正在招商

资讯

罗永浩淘宝“双11”首播,正在招商,曾经的抖音带货一哥,即将在今年双11开启淘宝直播带货。

全球微速讯:李宁的新品争议漩涡背后

资讯

李宁的新品争议漩涡背后,不被重视的“傲慢姿态”,正在成为一个越来越致命的问题。

百事通!人气带不动销量,T97咖啡能火多久?

资讯

人气带不动销量,T97咖啡能火多久?,创始人画的“大饼”,消费者吃不下。

世界观热点:马斯克烧焦的头发,又奇葩又好卖

资讯

马斯克烧焦的头发,又奇葩又好卖,卖香味有多赚钱?​

环球即时:国潮“顶流”李宁塌房?

资讯

国潮“顶流”李宁塌房?,近日国货之光李宁被推上舆论的高点。

资讯:T97直播间的咖啡,都「卖」给谁了?

资讯

T97直播间的咖啡,都「卖」给谁了?,没有做过线下实体的微商,能做出万店连锁的咖啡品牌吗?

环球关注:字节上市,全靠抖音?

资讯

字节上市,全靠抖音?,押注“抖音”,字节有几分胜算?

今日报丨叛逆李宁,教你做事

资讯

叛逆李宁,教你做事,成也公关,败也公关。

全球快资讯丨数据中台前世今生(三):互联网下半场+数字化转型=数据中台

时间来到2018年,对于绝大多数互联网企业来说,这一年绝对是煎熬的一年。

世界微速讯:产业要闻 | 最大规模公募REIT获批上市;中国邮政跨界开生鲜超市

此外,与超算中心相邻的武汉人工智能计算中心已完成二期扩容,算力达200P。

世界速递!陕西广电网络5G业务发展调度会:全力推进规模放号

他鼓励全网鼓足干劲,坚定信心,全力推进5G业务发展,确保全年目标任务完成。

天天快资讯丨SaaS入门,看这篇就够了

客户可以按照自己的需求部署SaaS,分别为公有云、私有云和混合云。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个