数据科学家:21世纪最性感职业
在大数据时代,数据无所不在,数据处理技术不断翻新,令人眼花缭乱。但我们静心细想和冷静观察,却发现真正用大数据技术成功解决的问题并不多。公司运营、政府管理、社会服务等问题的认知和决策仍主要是靠传统的营销数据、行政数据及抽样调查。这个现象告诉我们,大数据及其处理技术不是万能药,它是一个新现象,一种认知的新手段。它不会取代传统的数据分析和决策支持,但将会极大地增强和拓展人类认识世界和智能决策的能力。不管是“大数据”还是“小数据”,它们的共同目的都是用数据对现实和未来作出准确的判断以支持正确的决策。一门研究如何用数据支持决策的新学科应运而生,这就是“数据科学”。
什么是数据科学?
数据科学是专门研究如何使数据变成信息进而产生知识以支持判断和决策的学问。它是一门跨学科的领域,是信息科学、计算机、统计学,与其他自然科学和社会科学专业知识的结合。它包括大数据、小数据、有结构数据、半结构数据、无结构数据。它的核心是智能决策,不仅是商业智能(Business Intelligence)而且是数据智能(Data Intelligence)。因此计算机、信息、统计、自然科学、社会科学的学生都可以成为数据科学家。重要的是三者(信息技术、统计分析、专业知识)兼 有。
周有光先生将人类思维和认知的发展归纳为三阶段:神学、玄学、科学。神学、玄学、科学是人类寻求对宇宙和世界万物的理解而采用的不同思维方式和认知手段。人们往往只记住结论而忽视了思维方式和认知手段这一本质。神学寻求的是绝对结论。玄学寻求的是逻辑结论。科学寻求的是可以被实证的结论。神学靠维护被认可的绝对结论(信仰)而生存,受派别分歧和争斗影响而演变和发展。玄学靠推论和分析方法的改变而演变和发展。科学靠不断在新的证据面前修改和推翻原有结论中演变和发展。神学、玄学、科学是可以并存的,但在不同的社会发展阶段谁占主导地位则是不同的。
神学、玄学、科学有冲突也互有影响。神学的想象能给科学带来灵感。玄学的推论能帮助科学拓展理论模式和分析方法。世界上还有很多问题是科学无法实证的。对这些问题人类需要靠神学和玄学的帮助来理解和解释。
在现代社会,科学是占主导地位的认知手段,因而数据为依据的智能决策发挥着越来越大的作用。数据科学成为新兴的学科。数据科学家也成为紧缺人才。
数据科学的内容
由于是新兴的学科,数据科学的内容界定众说纷纭。笔者根据个人近年来对大数据理念的研究和多年从事知识应用、数据采集、数据分析和决策支持的实践经验,将数据科学包含的内容总结如下,希望能起到抛砖引玉的作用。为了使其容通俗易懂,我们可以用大师傅做菜的过程来打个比喻。
巧妇难为无米之炊。大师傅要从选材开始。不但要知道材料的品种还要知道季节和产地。原料需要经过清洗、整理、挑选、切割、搭配来为烹调做好准备。每一道菜都需有菜谱。大师傅按菜谱烹调,调火、放油、下料、翻转、掌握火候恰到好处才能炒出一道色、香、味齐全的佳肴。
数据科学也要从原材料开始。首先是数据的基本概念,包括(1)什么是数据?(2)什么是数据科学?(3)数据分类(4)数据形态 (5)数据获得手段 (6)数据获得渠道(7)数据质量 (8)数据数量。
接下来是数据处理,包括(1)数据清理 (2)数据确认(3)数据转换(4)数据组织和存储(5)确值处理(6)互操作性 (Interoperability)(7)数据安全(Data Security)。
再下来是要根据数据的性质和特点选择正确的分析方法(制定菜谱)。这里包括大数据和小数据,具体内容有(1)什么是大数据?(2)什么是小数据?(3)统计1.0 和统计2.0(4)大数据技术及其重要意义。
最后一步是数据分析(烹调)包括(1)传统统计分析(2)大数据分析:数据挖掘(3)人工智能(machine learning)(4)智能层次(Level of Intelligence)(5)动态可视化分析(Dynamic Visual Analytics),等等。
形成一个完整的学科还需要实际的应用案例。所以数据科学的应用也是一个重要内容,这包括(1)数据科学家的角色和职责,(2)数据科学应用案例--商业应用、医疗卫生信息、政府管理和决策,等等。
数据科学的未来
大数据热过一阵后会降温,但数据科学将不断发展下去。不久的将来新一轮的数据处理和分析技术可能会替代大数据成为新闻焦点。数据科学仍可以把新出现的技术纳入其中。不管技术如何发展,现代社会以科学实证为主导的认知和决策理念会长期继续下去。因此研究如何用数据支持决策的数据科学正是方兴未艾。
哈佛大学商业综述(business review)月刊2012年10月载文预测“数据科学家将是21世纪最性感的职业”。在美国,数据科学家的年收入已超过律师和医生,无怪乎有人惊呼“告诉你的孩子不要成为医生而要成为数据科学家”。很多大公司对目前就职的数据科学家并不是很满意。因为他们常常是只有单项专长——或是计算机专家只懂人工智能,或是统计专家擅长分析,或是领域专家注重要解决的问题。最受欢迎的数据科学家是三者皆能但不一定是样样都是专家。这种三合一的人才正是数据科学要培养的下一代数据科学家。
(东方剪报)
* 联系人: | 请填写您的真实姓名 |
公司名称: | 请填写您的公司名称 |
* 手机号码: | 请填写您的联系电话 |
电子邮件: | |
* 描述: | |
相关资讯
同类文章排行
- 数据科学家:21世纪最性感职业
- 两"悍马男"暴打六旬守车人 因15元停车费纠纷
- 外媒称中国推万亿债务置换计划 巧妙化解地方债 2015-05-15 10:28:59 来源:参考消息网 分享
- “舆情搭车”警示畅通民意诉求
- 莫把舆情应对当小事
- 真相晚到12天 搅了舆情乱了官场
- 态势分析,让下一个舆情热点有迹可循
- 公安部回应破解证明难题:将来只用“刷”身份证
- 王岐山调研8省份均有“老虎”被打
- 海外追逃,还要打好国际反腐“法律战”