大数据团队从0到1
“大数据”这个词,大家都已经不陌生了,已经从一个新兴的词汇变成了一个百姓茶余饭后都会聊到的概念。各种大大小小的互联网公司也都会创建自己的大数据团队,我也曾经在多家公司从事过大数据领域的开发和团队管理工作,这里写一下我自己的经历和感受。 公司一般什么时候需要大数据团队? 大数据团队与前端、安卓、运维、测试这些团队不同,不是公司一开始就必须有的团队。公司在创业初期,往往不重视、或者说不需要重视数据,业务、产品、功能以及市场资源才是最重要的。 当公司的产品可以在市场上站稳,这之后的几个月到几年时间,随着用户量的增加,数据的量也慢慢上来了。这时候老板们就会开始重视数据带来的价值,希望从数据中发现产品的不足、运营的方向甚至一些新的机会点。 有人说,数据量大了才会需要大数据,这显然是一个外行的错误观念。更为准确的说法是,在公司有了数据意识的时候就会需要大数据。也不能排除这样的情况:有一些非常优秀的创业者,创业初期就不是从0开始的,而是带着资源、带着团队、带着项目出来创业的,依据他们项目的成熟度,有可能一开始就会需要大数据团队。 当然,我也遇到过个别的公司,他们在引入大数据团队的时候其实并没有给大数据团队一个清晰的定位,没有想清楚未来3、5年期望大数据团队实现什么样的成就。只是想在对外宣传的时候,号称自己公司有“大数据团队”而已。求职者在应聘时,务必区分清楚这类公司,以免进入公司之后才发现这其实是一个被边缘化的团队。 大数据团队组织架构V1.0 1.0阶段的核心,是数据分析。 背景 大数据团队一开始存在的意义,往往就是为公司高层或业务部门提供数据的分析和支持。在组建大数据团队之前,数据的提取和分析都是由后端开发工程师直接从线上数据库上捞取。稍微靠谱一点儿的开发团队,则会专门备份出一个只读库、专门用作数据的分析统计,以免直接在线上环境操作数据造成的数据库压力过大,影响了线上用户的正常使用,得不偿失。 开发直接做数据分析的好处,是线上的数据结构和代码逻辑都是开发自己设计的,减少了大量的沟通成本和学习成本,效率高。在初期数据量不大的时候,这种做法无疑是最合适的。 相应的坏处则是: 开发对于数据并不专业,更容易陷入到自己的逻辑中,察觉不出问题; 创业早期的开发,工作量一般都是巨大的,不会有太多时间“转换脑子”来做数据分析; 开发做的数据分析往往无法形成体系化,来一个、做一个,导致后边越来越混乱; 选择 这种时候,公司一般有两种选择: 引入第三方成熟的数据服务商; 自己建立大数据团队; 两种选择都各有利弊。 […]