一份给数据分析小白的指南

2022-06-11 06:11:56   来源:商业新知网

作者介绍

@Claire

吃饭第一名的 Claire

美国德克萨斯大学奥斯汀分校商学院硕士;

美国某消费者数据平台数据分析师;

负责数据收集、清理、分析、建模、可视化等;

美剧重度爱好者,坚信美食能解决大部分问题的终极吃货;

“数据人创作者联盟”成员。

随着大数据时到的到来,把原始冰冷的数据转化为有意义的见解成为了这个时代新的超能力。 本文将带你从最基础的认识数据、到了解数据分析师的工作内容、需要的技术和软技能、再到新手入职的tips、容易犯的错误和最后数据分析师的好习惯 来展开。

引言

你有没有每月记账看自己各方面的花销并对比计划来调整花费?你有没有每周收到手机推送的app使用时间报告并以此跟自己说要少花点时间在social media?你有没有追踪自己的体重或者BMI来判断自己是不是又该运动了?如果你有,说明你已经在用数据帮你做决策,进行数据分析了。

什么是数据?

数据的定义太广泛了,但工作场景的含义通常是一个有行和列的表(table):每一行代表一条记录(record/observation),每一列表示一个变量variable/指标metrics。

变量可以分为:数值型变量(numerical能进行加减乘除的计算的)和定性变量 (qualitative/categorical有有限的数量,比如性别,种族)。数值型变量又可以分为连续性变量和离散型变量(比如家里几口人,几辆车)。定性变量中有一类序数变量(ordinal variable)内含了一定的程度和顺序,比如你对客服满意度的评级。

变量的分类

每个数据点有3个纬度值得关注:变量名,数据类型和数据值。数据类型在不同的数据库软件中有所不同,但大体上都可以分为:text/string,date and time, number, Boolean(0/1, True/False)。

什么是数据分析师?

同一title下的数据分析师可以做着截然不同的事,这与行业、数据量大小、公司/组织大小,服务于谁都有关系。但总体来说,数据分析师需要通过对数据进行一系列推理、实验、计算,来描述一个组织/过程的现状、研究不同变量之间的关系、检测异常指标、分析事件/行为的原因,甚至预测未来事件发展的趋势(最后这条一般由需要建模的数据科学家来完成)。

备注:数据架构师(Data Architect)是那些处理数据存储、数据使用、数据管理和在不同系统间整合的人,他们定义了数据的标准和准则。数据工程师(Data Engineer)是那些建数据库或者和数据仓库(data warehouse)打交道的人,他们负责各种各样的数据清理和转化,他们把处理好的数据给数据分析师和数据科学家使用,大公司或者职责划分比较清晰的公司会有专门的数据工程师。而数据分析师就是拿着比较干净的数据进行进一步的操作,直到最后进行数据可视化,产出有效的见解,帮助企业决策。

数据分析师需要的技能

通常需要的基本技能有Excel+SQL+用BI tools (Tableau,PowerBI等)进行数据可视化做dashboard。再进阶一步会需要统计学的知识会做假设检验来判断一个campaign/test(实验)是否有效。再进阶会需要python/r的技能做一些数据检验、清理和数据转化。再进阶就需要行业知识,数据敏感性,这要靠经验和大量的对行业的学习来积累。

备注:数据转化:例如选取有用的数据列、用已有的数据进行计算并添加新的数据列等。

但成为一名数据分析师所需的技能绝不仅仅是会写一些代码、用一些软件那么简单,软件/编程语言总在不断更新换代,他们也只是解决问题的工具(比如计算一个商家的平均客单价可以用Excel,SQL,Python或者R任何一个工具来实现),但是以下 软技能 是成为一名数据分析师一直需要而且不可或缺的能力:

明白你要解决的问题,甚至能根据数据提出有价值的问题。

找到并收集数据回答你的问题。如果你想知道我们有没有达到发货目标,那你就需要知道从我们收到订单到发货要多久,我们的目标是多久,然后从哪里找订单数据、发货数据,我有没有这些数据的权限,我有多少数据,而又需要多少数据来回答这个问题。

不是所有需要你解决问题的数据都在一个地方,有的可能来于Excel spreadsheet,其他部分在snowflake,还有一部分在MySQL,你要能够整合所有数据帮助你最后的dashboard或者解决某一问题。

明白你数据的质量,能检查并发现数据的问题(如果有)。

明白数据怎么来的,是直接来于客户还是我们内部进行了数据的处理,如果有了问题是客户data source的问题还是我们数据清理/转化过程的失误

备注:当你做报告的时候也要标注数据来源,因为这可以帮助你追溯出现问题的路径。有时候系统升级或者数据在数据仓库处理中,你作为end-user不知道这些情况,当你汇报时,但你的老板(或者其他上级的人)更了解big picture,就可以很快的指出你的报告是否有问题,并帮你debug。

明确哪些数据重要。你会被给到很多数据,但你要能找出解决某个问题特定的列/指标。

能计算有效的指标。不是所有需要你解决问题的数据都已经存在在数据库里,你要学会用已有的信息,计算你需要的信息。

用简洁、容易理解的方式汇报你的结果。

很重要的是明确你汇报成果的对象,如果是business people/领导级别的人,他们不想知道你如何一步步实现的结果、进行了哪些复杂的计算,他们就想你通过一些通俗易懂的可视化图表,看你对某一问题的结果/答案。

新手入职 Tips

先别急着上手做什么项目,花一些时间看公司现在用哪些report做决策,学习已有的report,你还能从中学到一些行业/公司的基本准则/规则,比如某个指标的benchmark,呈现过去30天还是一年的数据,关注全国还是某个地区的数据等等。

在这个过程中,多问问自己做这样一个report,我需要哪些数据,从来收集这些数据,你有没有这些数据的权限,问问同事他们找谁拿到的数据。

找一个容易上手的dashboard进行练习。

读工作流程图、一些数据处理/数据分析的手册等。如果没有这些东西,通过和同事的交流、请教,自己写一份工作流程的documentation/workflow是一个很好的开始,不仅让你梳理了工作的框架、明白不同表之间怎么join,你也创造了超出分析数据本身的价值。

工作流程图示例

新手常犯错误

没有花足够的时间理解数据。

任何人都可以搞一个pivot table或者进行一些计算,但你要有没有注意数据间的关系,你做的事是不是解决了问题/符合目标?

没有检查重复值(duplicates)。

没有做一些基本的求和,求平均值和计数的计算来看结果是不是符合逻辑,比如product table有产品单价,order table有sales amount,那sales amount除以quantity sold 是否和unit price一致。

没有记录你要解决的问题和答案。

这帮助你不问重复的问题,以后有问题也有文档可循。

没有用其他的方法验证你的数据结果。

每个人都可以展示一个数并让他看起来很正确,更要命的是逻辑上的错误不会有报错提醒。

因为害怕不问问题。

人们总是提供你他们觉得你需要的requirement,但这并不总是和你需要的一致。

问有价值的问题高效地完成你的工作也是一种能力,有价值的问题包括业务方给你提供一个诉求,你发现一些东西需要更清楚的阐述,或者考虑到这个诉求的目标提出的一些concern,去寻求confirmation。

不问是否已有文档记录/解决了相关的问题,如果有,你可以更高效更聪明的工作,而不是傻干傻琢磨。

数据分析师的好习惯

如果你不知道答案,不要猜或者编一个结果。

决策者是要拿你说的话做决策的,不确定的时候明确告诉对方你需要再核实一下或者查到结果后再给ta update。

除了自己检验自己的数据分析过程,peer review也是很好的方法,越是有经验的数据分析师越会支持鼓励你多花一点时间做peer review保证结果的正确性,他们这么做并不是担心你能力不够。

开会要做好准备,有效利用时间。

就我个人而言,不管是别人invite我的meeting还是我自己organize的meeting,我都会准备一个list,前者我会准备要问的问题,后者我会写会议的流程。

每个人都很忙,好不容易找人问到了你的问题,记得take notes。

presentation之前提供上下文/项目背景,帮助听众更好的理解你的演讲内容。

具体包括标注数据出处、定义名词或术语、需要他们从数据中得到的信息。

给别人发数据的时候建一个readme文档,标注数据出处、你做了哪些数据清理和转化,如果需要再加一个数据字典:解释列名和一些针对数据的注意事项。

关键词: 数据分析师 你有没有

上一篇:
下一篇:
精彩阅读

一份给数据分析小白的指南

热点

不问是否已有文档记录 解决了相关的问题,如果有,你可以更高效更聪明的工作,而不是傻干傻琢磨。

赵今巍|数字时代变化中的经济秩序之五:数字生态形成与发展规律(下)

热点

当绝大部分的产业链市场都存在产能过剩的情况下,“需求点”是市场中每个企业关注的核心。

搜狐员工遭遇工资补助诈骗 黑产与灰产有何区别 又要如何溯源?

热点

治理互联网黑灰产业不仅要依靠法律手段,也要加强社会协同治理,深挖黑灰产业链,直击犯罪根源。

全方位守护政企机构数字资产安全,360星绘正式发布

热点

而后,360星绘会立即对政企客户的最新资产扫描数据交叉匹配,定位受影响的资产范围,抢在漏洞黄金时间内进行修复加固。

硬件不支持的用户,也可以升级Windows 11?

热点

你是不是感到有些意外,因为一些硬件不支持的用户,也可以升级Windows 11了。微软向注册在发行预览频道的Windows Insiders发布了Windows

爱优腾压力来了!这个神奇网站,让你看片不花钱

热点

最近电商618正在火热的进行中,其中有的电商平台也推出了不少会员联名卡。

联通数科物联网事业部启动大喇叭播控服务比选,预算4149.78万元

热点

2022年联通数科物联网事业部大喇叭播控服务公开比选,项目采购预算为4149 78万元(不含税)。

Marteker 日报:(2022.6.10)

热点

36氪获悉,智能物流及管理系统提供商蓝海机器人近日连续完成数千万A轮和A+轮融资,由高瓴创投领投。

上市两年SaaS减速,福禄控股转型失败?

热点

得益于轻资产高周转的行业特点,虚拟商品的经销业务刚起步时,的确是一个门好生意。

财富

又一支付服务商要从新三板摘牌?北京股份连续停牌

资讯

又一支付服务商要从新三板摘牌。6月9日,你好现在(北京)科技股份有限公司(以下简称现在股份)连续停牌的消息引发业内唏嘘。该公司于2011年成

工信部官方推出一键解绑功能 简直堪称“神器”

资讯

大家一定遇到过,很多时候App已经不用了,但还经常会受到平台的短信等等,但解绑需要重新下载登陆,整个流程较为繁琐,因此很多人也就懒得

SK海力士宣布将开始生产首款HBM3内存

资讯

早在去年,SK海力士就曾宣布,成功开发出业界首款HBM3内存,但却迟迟没有公布产品的量产时间。今天,SK海力士宣布,公司将开始生产HBM3内存

“6·18”跨店满减是谁来买单?商家:全部自行承担

资讯

电商平台上铺天盖地的跨店满减,是谁来买单?6月8日,北京商报记者调查发现,想要参加6·18,还想抓住大促期间的流量红利,中小商家免不了要

索尼在美国成立新公司为小型卫星开发激光通信设备

资讯

据国外媒体报道,索尼宣布在美国加利福尼亚州圣马特奥成立一家新公司 —— 索尼太空通信公司(SSC),将主营太空光通信业务,为小型卫星开

2024年投产!三星首条8.5代OLED面板生产线将开建

资讯

据国外媒体报道,上周五有韩国媒体在报道中称,三星电子旗下的面板制造商三星显示,已在准备建设8 5代OLED面板生产线,目标是为苹果的iPad

台积电董事长刘德音:不断上升的通胀并未影响芯片生产

资讯

据彭博社报道,台积电(TSMC)预计2022年营收将增长30%,这家芯片巨头的董事长刘德音坚称,不断上升的通胀并未影响芯片生产。刘德音在年度股

台积电董事长刘德音:半导体产业链正在进行库存修正

资讯

据台媒中央社报道,今日,台积电董事长刘德音表示,半导体产业链正在进行库存修正,不过车用与高性能运算需求稳定,有些超出供应能力,台积

科思创与QCWare签署为期五年的量子计算协议

资讯

世界领先的聚合物公司之一科思创和领先的量子软件和服务公司QC Ware日前宣布签署一项为期五年的合作协议。合作的目的是帮助科思创做好充分

4月份全球半导体销售额同比增长21.1%

资讯

据国外媒体报道,在汽车、消费电子等对各类半导体零部件需求强劲的推动下,半导体的销售额也相当可观。美国半导体产业协会的数据就显示,今

赵今巍|数字时代变化中的经济秩序之五:数字生态形成与发展规律(下)

当绝大部分的产业链市场都存在产能过剩的情况下,“需求点”是市场中每个企业关注的核心。

搜狐员工遭遇工资补助诈骗 黑产与灰产有何区别 又要如何溯源?

治理互联网黑灰产业不仅要依靠法律手段,也要加强社会协同治理,深挖黑灰产业链,直击犯罪根源。

全方位守护政企机构数字资产安全,360星绘正式发布

而后,360星绘会立即对政企客户的最新资产扫描数据交叉匹配,定位受影响的资产范围,抢在漏洞黄金时间内进行修复加固。

硬件不支持的用户,也可以升级Windows 11?

你是不是感到有些意外,因为一些硬件不支持的用户,也可以升级Windows 11了。微软向注册在发行预览频道的Windows Insiders发布了Windows

爱优腾压力来了!这个神奇网站,让你看片不花钱

最近电商618正在火热的进行中,其中有的电商平台也推出了不少会员联名卡。

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个

吉利几何EX3功夫牛高居榜首,4月投诉量230起

近日,车质网发布了2022年4月车型投诉排行八卦(前30名),其中有不少产品的出现属实让人没想到。具体来看,吉利几何EX3功夫牛高居榜首,4月

“说好了未达到目标全额退款,结果都是骗人的!”

春天不减肥,夏天徒伤悲。一波减肥大军抱着坚定的信念踏上征途,发现身边各式各样的高端减肥训练营正打着健康减肥封闭管理保质保量包吃包住