大数据社会调查报告

2022-10-02 版权声明 我要投稿

报告在当前的社会发展阶段,已经成为常见的事后总结方式,报告的内容,是以严谨、准确为特点的,有效的报告一般都具有哪些要素呢?今天小编为大家精心挑选了关于《大数据社会调查报告》的文章,希望能够很好的帮助到大家,谢谢大家对小编的支持和鼓励。

第1篇:大数据社会调查报告

大数据时代的市场调查

摘 要:随着大数据时代的到来,市场调查在新技术条件下萌生出了新的应用和方法。本文即在对传统市场调查的研究逻辑、操作方法进行梳理的基础上,对现阶段大数据的方法论进行考量,试图为“大数据热潮”提供一个较为中立的视点,并探讨大数据对于市场调查的研究逻辑和操作方法层面的影响。

关键词:大数据;市场调查;社会学方法论

“大数据”是当下纵横学界、业界的最热词汇,继移动互联网、云计算、物联网等新兴应用技术出现之后,全球范围内产生的数据急剧增长,人们生活在数据编织的网络之下。这种直接运用用户数据进行分析的方式完全不同于传统的市场调查方法,并且看似为理解消费者行为提供了更为客观的视角,于是,“大数据时代是否还需要传统市场调查?”、“大数据会取代问卷调查吗?”这样的疑问开始出现。

一、市场调查方法论发展脉络

(一)市场调查研究逻辑的形成

按照美国市场营销协会(American Marketing Association)所给出的定义,市场调查(marketing research)是“一种通过信息将消费者、顾客和公众与营销者连接起来的职能。这些信息用于识别和确定营销机会和问题,产生、提炼和评估营销活动,监督营销绩效,改进人们对营销过程的理解。市场调查规定了解决这些问题所需的信息,设计收集信息的方法,管理并实施信息收集过程,分析结果,最后要沟通所得的结论及其意义。”有记载的最早一次大规模调查要追溯到1824年8月,美国一家报纸为预测总统大选结果而进行了民意调查;在1879年美国也出现了广告代理商为农业机械制造商进行当地农产品生产状况的调查。

早期这类具有“市场调查性质”的研究可以视作社会调查的延伸,从源头上看,社会学方法论对于市场调查的有着极其深远的影响。19世纪初,法国哲学家奥古斯特·孔德第一个提出用“社会学”这一名词来指代研究人类行为的科学,并主张将自然科学的成功经验引进社会研究领域,提出“自然现象和社会现象不存在本质的不同,科学史统一的,不同学科遵循某些相通的原则”这一基本假设。这种实证主义思潮在后来西方社会学研究中一直处于主流地位。实证主义社会学在19世纪80年代获得了真正的可行性,德国社会学家埃米尔·迪尔凯姆在其著作《社会学方法的规则》中提出了实证主义社会学的方法论,他定义了社会学的研究对象,并真正将实证科学的方法(统计学和数学)引入社会现象的分析,开始了具体的社会实证研究,使定量研究的方法在社会学领域逐步盛行。

作为最早探索社会学方法论的两位大师,迪尔凯姆和韦伯都强调了因果解释在社会学研究中的重要地位,虽然前者是将其视作规律式的、法则性的存在,而后者是将其与理解、意义联系在一起,探求因果关系成为了社会学方法论中的一个核心问题。市场调查作为一门独立学科发展起来,是在20世纪初。在研究逻辑的根源上,市场调查融合了实证主义和人文主义的方法论,这两者的研究逻辑都在市场调查的操作方法中有所体现。

(二)市场调查操作方法的发展

市场调查成为独立的行业和学科,主要经历了以下几个发展阶段[2]:

20世纪初,市场调查学开始建立。1911年,美国Curtis出版公司首先设立市场调查部,并与1919年系统地收集、记录、分析各种读者的习惯和爱好及与人口统计有关的资料,用以指导出版业务并获得了巨大成功。1918年,哈佛商学院、西北大学也先后创建了商务调研所。1923年,专业市场调查公司A.C.尼尔森创立,市场调研和营销信息系统开始成为一些企业市场营销管理系统不可分割的有机体,西方市场营销那种强调“理性分析和以实证数据为基础”的特点开始形成并显露出来。

20世纪30年代,美国市场营销协会出版了专著《市场调研技术》。“市场信息的收集和阐释”被正式纳入营销概念。40年代初始,定性研究(座谈会)形式的研究方法在市场研究中得到应用,并逐渐成为产品概念、广告概念、产品包装测试的必备工具。40年代末期,随机抽样的样本设计概念得到广泛认同,抽样技术在民意调查方面取得重大突破。

50年代后,市场调查业逐步趋于成熟。二战后,世界局势趋于稳定,经济全球化的背景下,市场营销学获得了良好的发展机遇。营销管理者开始将市场研究作为决策依据的必要环节,专门性的市场调查机构大量涌现。抽样调查和显著性检验、动机调研及消费者行为理论研究成为发展的重点,心理学、社会学在市场调查中开始得到系统应用。

70年代以后,随着计算机和互联网技术的应用,一个现代化的信息系统开始形成,数据库营销时代到来。

二、大数据在市场调查中的应用

(一)什么是大数据

我们可以从《大数据时代》一书中窥知一二。作为最早阐述“大数据”这一话题的专著,舍恩伯格的这部专著的阐述了在大数据时代的三点思维变革:“更多:不是随机样本、而是全体数据”,“更杂:不是精确性,而是混杂性”,“更好不是因果关系,而是相关关系”[3]这三点是目前主流的对大数据方法的阐述,并被其的拥趸奉为圭臬。其中最具有颠覆性的 “重相关而轻因果”思想,引起了很多讨论。

(二)大数据的基本逻辑

从学科的角度看,大数据承袭了更多统计学的特质,通过对数量巨大的数据做统计性的搜索、比较、聚类、分类等分析,找到数据之间的关联。因而更关注数据的相关性(亦称关联性),这种关联可能是简单的正向相关,可能会通过进一步的研究认定是因果关系,甚至可能通过相关性发现甚至之前都不存在的新关系。

“相关分析”的目的是找出数据集里隐藏的相互关系网,一般用支持度、可信度、兴趣度等参数反映相关性[4]。说明两者之间存在相互影响的关系。在大数据时代,我们不必非得知道现象背后的原因,而是要让数据自己‘发声’”。企业在运用大数据时,不再是按照“从数据到信息再到知识和智慧”的传统研究思路,而是试图寻求“从数据直接到价值”的捷径[5]。

值得注意的是,本文试图对市场调查的社会学研究逻辑与大数据的逻辑做一个核心的梳理,以说明由两者研究逻辑的差异性,但我们也不应忽视:首先,因果关系和相关性关系并不存在孰优孰劣的比较,并且两者可以作为研究中相互补充的手段,大数据对于市场调查而言,究竟是“破坏”还是“进化”不能一言蔽之;其次,有学者认为,在开放复杂的巨系统内,组成部分之间的关系错综复杂,可能存在互为因果、相互影响的状态,因果关系隐藏在整个系统之中,所以,对于大数据的关联分析,可能不限于简单的相关性,其中可能蕴含着更深刻的奥秘,不能贸然下结论[6]。

(三)大数据带来的新方法

在操作层面上,相比以往的调查方法,大数据有以下令人关注的新特点:

首先,大数据去除了抽样设计的环节,直接对整体进行分析。在社会研究中,由于难以对整体进行直接的测量,会选取样本进行研究,抽样框架的设置、样本的代表性和样本大小都会对结论产生影响。对于人群的整体认识而言,大数据无疑提供了一个完美的解决方案,来将误差降到最低。

其次,基本不介入调研对象的行为,以观察者的视角呈现调研对象。作为消费者,我们的行为在大数据的网络中无处藏匿,电脑上的cookie会精确地记录你在何时何地浏览过什么商品,手机上的LBS可以实时定位,更高层次的数据甚至记下了人们的眼球在电脑屏幕上的运动轨迹。大数据可能比你更了解你的消费习惯。

最后,作为互联网时代的产物,与社会化媒体、搜索引擎等互联网应用的联合使得大数据备受瞩目。

这是当前常见的大数据运用模式,该项以这类方法看似可以有效地对庞大的用户群进行梳理,但也存在两点疑问:

1、信息的真实性。用户信息由用户自己设定,所以在年龄、性别、地域等人口统计学数据上可能存在数据不真实等状况,这些因素都会影响最终结果的可信度;

2、方法的科学性。首先,片面根据某些片面的相关性很难得出科学的结论,由此推断消费趋向有些缺乏说服力;

(四)大数据推广中的困难

大数据的运用还处于起步阶段,虽然业界普遍对大数据寄予厚望,并描绘出一幅幅宏伟蓝图,但我们也应该看到,其发展前景还存在很多不确定性。

首先,在技术层面上,由于大数据的数据量过大,合适的运算方法和硬件条件还不够完善,为大规模使用造成了困难。大数据的积累看似是很容易的事情,但是提取和运用还远没有达到理论上的即时和迅速,但随着计算机技术的发展和研究的不断涌现,相信大数据在技术上的突破只是时间问题。

其次,如何保护用户隐私的问题。人们无法选择自己的数据是否被利用,甚至有时都无法察觉自己是否中了“大数据的圈套”,这也是大数据受到诟病的一点。

信息安全和隐私保护问题无疑会影响数据的共享共通,。至少目前看来,大数据的运用仍然限于个别平台限内部,而且可能在比较长的一段时间内,都无法到达各平台间完全打通的状况。

三、结论

(一)方法层面:大数据带来的新进展

对比传统的市场调查方法,在具体的操作方法上,大数据技术确实带来了令人激动的变化:

1、从样本到全体:大数据的研究对象是全体用户的相关数据,而非依靠抽取的样本。

2、从短期到长期:大数据研究长期的数据沉淀,而不是阶段性的调查结果。

3、从延时到及时:大数据能够感知和采集即时化电子数据,迅速转化入决策运用环节。

(二)逻辑层面:传统智慧的融合

“传统市场调查还是大数据?”这并不是一个单选题。大数据具有“重发现非实证”、“重关联非因果”的特征,却并没有系统化的逻辑基础作为支撑。而传统市场调查有着深厚的社会学基础,已形成了较为完整的方法论,并结合了包括相关分析在内的定性、定量研究方法。市场调查的最终目的是要“识别和确定营销机会和问题,改进人们对营销过程的理解”,传统的市场调查智慧与大数据的巨大威力相结合,可能会在定性分析和定量分析方面产生巨大的优势。

艾尔巴比在《社会研究方法》中写道:“社会研究中定性与定量资料的实质性区别就在于数据化或非数据化。表面上,每一项观察都是定性的,无论是某人的美丽,还是受试者在量表中所得的分数,或是他在问卷中所勾画的记号。这些东西都不是天生数据化的或定量的,但有时候,将其转化成数字形式比较有用。定量化常常使我们的观察更加明确,也比较容易将资料集合、对比或得出结论,而且为统计分析从简单的平均到复杂的共识以及数学模型提供了可能性。”对于了解市场这个目的而言,大数据也是把现象转换为更易认知形式的一个可能性。

随着技术和理论的推进,相信大数据领域还会有更多的发展,系统化的研究逻辑、基本预设等一系列方法论成熟的时候,或许会给市场调查乃至社会科学带来更瞩目的启发和改变。

参考文献:

[1](美)艾尔·巴比著.社会研究方法.北京市:华夏出版社,2009.02.

[2](英)安东尼·吉登斯(Anthony Giddens)著;田佑中,刘江涛译. 社会学方法的新规则 一种对解释社会学的建设性批判.北京市:社会科学文献出版社, 2003.

[3](法)奥古斯特·孔德(Auguste Comte)著;黄建华译.论实证精神. 北京市:商务印书馆,2001.08.

[4]程士安.广告调查与效果评估 第2版.上海市:复旦大学出版社, 2011.01.

[5]维克托·迈尔-舍恩伯格,肯尼思·库克耶著;盛杨燕,周涛译.大数据时代 生活、工作与思维的大变革.杭州市:浙江人民出版社, 2013.01.

[6](法)迪尔凯姆著;胡伟译.社会学方法的规则.北京市:华夏出版社, 1999.01.

[7](德)马克思·韦伯著杨富斌译;责任编辑;褚朔维.社会科学方法论. 北京市:华夏出版社, 1999.01.

[8]张灿鹏,郭砚常编著.市场调查与分析预测.北京市:清华大学出版社,2008.

论文:

[1]胡络绎.大数据,让营销更精确[J].软件工程师,2013,Z1:95-98.

[2]黄升民,刘珊.“大数据”背景下营销体系的解构与重构[J].现代传播(中国传媒大学学报),2012,11:13-20.

[3]李国杰,程学旗.大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J].中国科学院院刊,2012,06:647-657.

[4]李峰.迪尔凯姆与韦伯的社会学方法论之比较[J].理论与改革,2005,(第3期).

[5]孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,01:146-169.

[6]数托邦:《小时代》是属于谁的小时代?,http://www.huxiu.com/article/18172/1.html,2013年。

[7]徐偲骕.传播研究与学术公共性:“大数据”热潮的冷思考[J].东南传播,2013,03:20-22.

[8]张文.沃尔玛:“吃螃蟹者”亦喜亦忧[J].新商务周刊,2013,23:30-32.

[9]张一力.网络市场调查与传统市场调查[J].嘉兴学院学报,2001,02:32-35.

注释:

[1]韦薇,普莱克斯(中国)投资有限公司;王迪,博士,复旦大学新闻学院讲师。

[2]张灿鹏,郭砚常:《市场调查与分析预测》,清华大学出版社,2008.3。

[3]维克托·迈尔-舍恩伯格:《大数据时代》,浙江人民出版社,2012年12月。

[4]李国杰:《大数据研究:未来科技及经济社会发展的重大战略领域》,《中国科学院院刊》,2012年 第27卷 第6期。

[5]李国杰:《大数据研究:未来科技及经济社会发展的重大战略领域》,《中国科学院院刊》,2012年 第27卷 第6期。

[6]李国杰:《大数据研究:未来科技及经济社会发展的重大战略领域》,《中国科学院院刊》,2012年 第27卷 第6期。

作者:韦薇 王迪

第2篇:大数据时代市场调查数据分析教学的改革

摘 要: 互联网和传统行业的结合为各领域发展带来了新的机遇和挑战,也促成了大数据时代的到来。大数据改变了市场调查获得数据的方式和内容,因此高校市场调查数据分析课程的教学必须做出积极的应对。本文研究市场调查课程中数据分析教学应对大数据应该进行的教学内容和数据分析方法的调整和加强,探讨如何在传统数据分析的基础上对教学设计和教学进行改革。

关键词: 大数据 数据分析 教学改革

市场调查数据分析是根据市场调查的目的和获得的数据种类及特征,研究变量和数据间关系和规律的方法。数据分析方法的选择决定于数据的种类和分析目的,为分析目的服务。在传统市场调查中,数据分析方法的选择相对固定,尽管随着统计学和计量经济学等学科发展,数据分析方法层出不穷,但是鉴于获得数据类型和特征,能够应用于市场调查分析的数据分析和处理的方法要小于统计和计量分析模型。大数据时代的到来使市场调查可获得的数据在数量、规模、结构和速度方面都产生根本变化,这对市场调查数据分析教学提出新的挑战和要求,本文探讨市场调查数据分析教学应对大数据到来应进行的变革与调整。

一、传统市场调查课程数据分析教学

1879年美国农业机械生产商委托广告代理商艾尔公司调查农业生产信息和相关天气、土壤信息等,估计农业机械设备的需求,这是有记载的第一次市场调查活动。市场调查活动的出现,数据分析必然应运而生。市场调查类课程在高校的统计学院和商学院的市场营销专业都是必修课程,数据分析是市场调查课程中必不可少的一部分教学内容。

(一)传统市场调查课程数据分析的教学目的

传统市场调查建立在抽样理论上,数据分析方法是以推断统计为主要分析工具。通过推断统计相关的方法,利用调查中获得的有效数据,对总体特征进行推断和描述。在市场调查课程中,数据分析的教学目的在于帮助学生了解研究对象的基本情況,并根据具有代表性的调查数据了解研究现象之间和因素之间的数量关系,通过描述统计及推断统计的方法对研究总体进行推断和研究。

(二)传统市场调查课程分析方法

传统市场调查分析方法中,很重要的一部分是描述统计的内容,主要是通过表格和图表展示调查数据,其中主要包括频数分布表、条形图、直方图、饼图、语义差别量表等。在对单变量进行描述的时候,可以分别计算数据集中趋势测度指标,比如众数、平均数、中位数等,以及离散趋势指标,如标准差、四分位差和变异系数等。在多变量描述中,列联表有很重要的应用。传统市场调查主要的调查方法为观察法、询问法和实验法。其中最主要和最常用的访问为询问法。询问法主要的调查工具为问卷,通过问卷获得的数据基本为结构化数据,因此使用常规方法可以对通过问卷调查获得的数据进行很好的展示和说明。因此,使用传统图表展示调查数据是市场调查很实用的方法。描述统计的一个重要目的是研究样本结构,确定样本的代表性。一个具有较高代表性的样本,通过描述统计展示的样本结构和规律,大概率上代表总体的结构和规律,因此样本的代表性是决定调查准确性和可靠性的重要保障,调查方案和抽样设计是市场调查的重中之重,调查数据的质量和准确性对调查质量具有重要影响,是决定市场调查质量的一个重要因素。

推断统计是建立在概率论与数据统计基础上的分析方法,只要样本具有随机性,能够很好地代表总体,推断统计方法就可以很好地对研究总体进行估计和预测。如果在问卷设计的时候设定好变量类型,预估将会使用到的数据分析方法,推断统计方法完全可以被用来推断总体,得到可靠的分析结果。最常用的数据分析方法主要包括区间估计、假设检验、方差分析、相关分析、回归分析等。当调查的问题较多,数据类型同时包括定性和定量数据时,可以使用非参数估计方法、逻辑回归、因子分析,聚类分析等方法对问卷数据进行分析。而且传统市场调查中采用在心理学和社会调查中常用结构方程模型对市场调查数据进行分析,体现了市场调查活动的兼容性及各学科,各领域发展高度融合的趋势。这些推断统计的方法,基本上还是建立在统计学分析的基础上,当获得的数据是用传统市场调查活动获得的,数据分析方法依旧在传统统计学,计算机发展的轨道上缓慢发展和进步。

二、大数据时代市场调查数据分析教学

大数据时代的到来,对传统的市场调查活动产生了重要的影响。市场调查重要的目的是获得调查数据,当数据发生本质变化后,数据分析方法必然随之改变。促使高校的市场调查课程在各个环节都进行相应的改革和应对,市场调查数据分析教学的改革势在必行。

(一)大数据时代市场调查数据分析教学思想的变革

计算机、网络和数据存储等技术的发展,使通常只获得样本数据的市场调查能够获得规模,范围都远大于从前的数据,也就是现在耳熟能详的“大数据”。大数据时代改变了世界诸多领域,同样要求数据分析教学进行积极的改变。首先教师要处理好获得大数据后样本与总体认识。大数据时代我们可以获得同一时刻同一对象几乎所有的数据,也就是总体的概念,同时是我们获得的数据样本。当今,我们获得的数据是样本和总体的对立统一,不再有数据收集能力的限制。其次是教师要对大数据的质量具有深刻的认知。传统市场调查中,经过科学严谨的问卷设计、抽样设计,市场调查获得数据质量较高,完整性和准确性是小规模数据的优势,可以较好地用于研究和推断总体。但是在大数据时代,由于规模比较大,包含的信息较多,来源渠道较多,不可避免地会对数据的精确性产生影响,但是和大数据所包含的信息和作用相比,大数据的精确性不会影响其使用价值,与常规市场调查数据相比,更加有利于了解研究对象的特征,多层次更全面地反映总体的真实状况。再次,传统市场调查数据分析的目的是研究变量间的数量关系或者因果关系,探寻目标变量的影响因素。但是在使用传统数据分析方法的时候,各种分析方法的使用前提是对总体进行某些假设,并在假设的基础上进行分析和研究,比如经常假设变量间存在的线性关系,进行回归分析,谈论变量间因果关系影响。然而,大数据时代是一个数据“速食”年代,数据量不断发展,不断增加,川流不息,变量间的因果关系可能即刻建立也能即刻消失,大数据分析的一个重要特征就是重相关,轻因果,大数据的特征决定了发现数据、变量、现象间的相关关系是大数据的重要目的,也是直接特征。大数据的规模大,数据结构复杂很难简单或者直接地寻找到现象间确切关系,建立起明晰的函数或模型。大数据时代处理好相关关系和因果关系的辩证,是对调查数据进行数据分析教学的一个重要前提。

(二)大数据时代市场调查数据分析教学内容改革

当前大数据时代刚刚到来,各高校的市场调查课程并没有开展大规模的教学内容调整,尽管一些高校现都开设了大数据或是数据工程专业,但是对大数据专业人才该如何培养还处在探索和尝试阶段。大数据作为一个单独的专业,和统计、计算机、网络等专业相互融合,因此,市场调查课程中数据分析教学内容同样需要兼收并蓄。在数据分析课程大纲的设计时,传统的数据分析方法是必不可少的,这些内容有利于学生了解数据分析的基本思维和训练学生的逻辑思维能力。同时,要适当增加大数据产生和获得技术教学内容,让学生了解大数据如何产生、存储这些知识,有利于学生后续的分析。针对结构化的传统数据,数据分析方法的研究相对丰富,但是大数据在数据结构上,多为非结构化,也可能是半结构化的,这些都为大数据的分析产生新的挑战。尽管在市场调查中不存在研究如何对数据进行存储,但是要对数据结构具有深刻的了解,因为了解数据特征、数据结构,不论是对传统数据分析还是大数据分析,都是分析之前的必备工作,因此要适当增加数据结构相关内容。在传统市场调查中,数据筛选是数据分析之前数据预处理的内容,但是由于数据量比较小,并不占有很大比重的工作。但是出现大数据之后,由于数据规模比较大,数据质量相对较低,数据筛选或者数据的清洗反而成为一项非常耗费时间和在分析之前占有重要工作量的步骤。大数据分析,很多时候是一项由厚变薄的过程,这就是指数据清洗。例如从网站上爬取的评价和图片可能很多都是无用或是没有价值的数据,在清洗时可能要去除90%,数据清洗是数据分析前一项重要的过程,在数据分析教学改革中要对数据清洗技术相关内容予以重视,并增加合适的教学内容。

(三)大数据时代市场调查新增数据分析软件介绍

数据分析方法的实现都需要建立在数据分析软件的基础上,统计或计量数据分析常用软件包括Excel,Eviews,Spss,SAS,R Stata,还有在做结构方程研究的Amos等。这些统计分析软件都可以用来分析市场调查数据,如果说处理数值型大数据的话,这些常用的软件可以实现。但是如果处理的非数值型,比如文本,甚至是图片、音频、视频等数据的话,需要更加专业的软件。当前大数据的分析,数据来源主要是网络数据,包括自媒体数据,人和计算机交互数据,以及机器观察和记录数据等,怎样管理和存储这些数据并不是市场调研研究范围,市场调研涉及的是如何获取这些数据,对于收费数据,可以从网络运营商或者数据所有者购买,对于网络公共数据,通过相关软件进行爬取,如Pathon等,还有些市场调查软件自带大数据库,供学生分析研究。针对本科学生的程度,简单的数据挖掘技术比较适用。相关软件包括R、SAS,Weka等。数据可视化的软件也大批涌现,比如制作简单的词云图,很多软件都可以实现,应该增加到市场调查数据分析课程教学中,常用软件如Tagul、图越等。

三、结语

市场调查是一门实践性较强的课程,其中数据分析更是与其他学科联系紧密。在大数据时代,数据分析教学设计,教学内容需要进行改革,在保留传统数据分析内容的基础上增加大数据结构、大数据获取、数据可视化和数据挖掘的相关内容,为更好地使用软件分析大数据、研究和分析社会现象、了解消费者行为、更好地服务企业、个人、社会,培养适应大数据时代发展的综合人才。

参考文献:

[1]朱建平,章贵军,刘晓葳.大数据时代下数据分析理念的辨析[J].统计研究,2014,31(02):10-19.

[2]大数据时代统计学的重构与创新——首届“大数据与应用统计国际会议”述评[J].统计研究,2015,32(02):3-9.

[3]耿直.大数据时代统计学面临的机遇与挑战[J].统计研究,2014,31(01):5-9.

[4]邱东.大数據时代对统计学的挑战[J].统计研究,2014,31(01):16-22.

[5]赵国栋,易欢欢,糜万军,鄂维南.大数据时代的历史机遇——产业变革与数据科学[M].北京:清华大学出版社,2013.

作者:王士香

第3篇:大数据时代物流专业人才发展调查

[摘要]随着大数据时代的到来,传统的物流管理专业人才培养受到了冲击,为了顺应时代的发展,改革物流专业人才的发展方向势在必行。文章围绕大数据时代下的特点对物流专业人才发展的方向进行调查研究,对目前物流专业教育模式所存在的问题进行分析,从而对物流专业人才发展方向提出针对性的意见和建议,为广大物流专业的老师以及学生提供参考。

[关键词]大数据;物流人才;人才发展

[DOI]1013939/jcnkizgsc201731125

1大数据时代下物流专业人才发展背景

世界著名咨询公司麦肯锡曾经在一篇报道中指出大数据已经渗透社会生活中每一个行业和领域,其潜在价值是不可小觑的。对于海量数据的应用预示着人们生产力与消费水平都将得到一定程度的提升。随着“大数据”概念的提出其应用也会越来越广,也会有越来越多的人意识到数据的价值,为数据分析行业人才发展指明了道路。

根据调查显示,我国尤其在物流方面的人才需求巨大,有650万之多,其中专业性物流管理人才缺口50万左右。为响应国家对“大数据”物流的号召,现代物流行业对于专业化、技术化、数据化的综合性专业人才的需求更是迫在眉睫。在调查中发现我国各大高校对于物流专业的学生的教育过于片面化,例如本科院校缺乏大量的操作能力,实战性低下;专业院校恰好相反缺乏大量的理论基础。为了大数据时代下的新时代综合性物流人才,各大高校传统的教学模式尚需改革与创新。

2大数据时代对物流专业人才发展的影响

大数据的主要作用就是服务,数据服务人类,人类提供数据,物流业作为一个传统的服务行业通过对这些数据的采集与分析并将其引入物流业态中,为企业发展提供有利信息,为人才培养方向提供第一手的资料。现如今大数据已经渗透人们生活的各个领域,例如政治、经济、文化、军事等,对于物流业而言,既是机遇也是挑战,同时为物流专业的人才发展也指明了方向。

随着大数据对各领域的渗透,对于我国物流专业人才的发展也引起了一定程度的思考,现如今我国缺的不是知识型的物流人才,而是信息型、综合型的全能型人才,我们应抓住时代的特点,顺应时代的发展,以潮流为背景然后再加强知识基础建设。

3大数据时代下物流专业人才发展所存在的问题

在当今的大数据时代下,正如古登堡发明的印刷机改变世界一样,大数据的趋势也促使商业和社会结构发生变化。现代物流作为调整经济结构、改变经济增长方式、降低成本、提高效率和效率的重要手段之一,已在世界各国政府和企业中发挥着越来越重要的作用。在大数据时代背景下物流行业人才发展存在以下几方面问题。

31宏观层面

(1)领域针对性不强。目前我国物流专业人才教育缺乏针对性,课堂教育落后,严重与社会脱节,在智能化数据化飞速发展的今天,很多课本上的知识缺乏先进性,时代性不强过于落后导致很多学生学无致用,初级和本科生或研究生都必须具备自己的核心能力。

(2)缺乏综合型物流人才。我国在物流教育方面,很多時候只注重单一的技能训练,在智能化数据化的时代并不能满足社会需求,在大数据时代下物流的实时评估能力正在逐步提高,自身的表现能力也随之调整,这其中包括了对顾客的管理要求,对产品的需求以及库存量的要求,为满足整个物流供应链的发展,数据分析和信息技术整合是这些协调工作的命脉。所以这对新时代物流人才也提出了高要求,培养物流综合型人才迫在眉睫。

32微观层面

(1)物流教材陈旧落后。物流行业是我国的朝阳产业,尚处于快速发展阶段,因此物流人才的教育应紧跟时代步伐,但是根据调查显示我国物流教材缺乏新颖性,很多内容都是传统物流的产物,涉及时代当下尖端物流的发展少之又少,这便会导致教育滞后现象,陈旧的教材一方面不利于物流专业人才的发展,另外也阻碍了老师知识视野的开阔。

(2)课程设置缺乏实践。学校相对于社会来说,处于一个比较封闭的状态,与企业缺乏来往和沟通,这将会导致学校不能及时接收社会人才需求信息,不能很好地依据市场需求特征来对教育教学课程进行设置,学校给予的并不是企业所需求的,企业还得进行二次培训,浪费了时间与精力,对此学校应加强实践教学,减少理论教学尤其是在大数据盛行的当下,加强学生数据分析能力、应用实践能力都是必不可少的。

4大数据时代下物流专业人才发展的意见和建议

41加强物流人才教育,实现物流信息化

通过对数据的分析处理来实现物流的信息化,从而大幅度减少工人操作失误,提高拣选配送效率,从而降低物流成本。在互联网与大数据的时代背景下,社会上所需要的不是一批纸上谈兵的书呆子,而是能够紧跟时代步伐,实现物流业的信息化、自动化、人工智能化的可造型人才。所以在现代物流教学中,我们应摒弃书本上陈旧知识的束缚,减少理论教学,加强信息化物流教育,让学生能够学有所用,顺应时代发展的潮流。

42加强师资力量建设,为学生发展提供保障

据调查显示,我国的物流师资力量单薄,很多物流专业教师都是从其他专业转移过来的,物流业作为新兴产业,其发展前途是不可小觑的。然而师资力量跟不上,不仅会影响物流产业的稳步发展,更会影响一大批物流学生人才的损失,使其发展受阻。我国政府应对此做出政策上的调整,并给予支持。加强我国物流师资力量的建设,从而才能为祖国培养出优秀的物流人才。

43加强政府管理职能,完善硬件建设

任何事情的发展都离不开政府部门的支持,在物流人才的发展上,我国政府部门应该实施政策指导、检查监督以及制定和修订指导物流人才发展的所需要的各项政策与规章制度,在政策上促进我国物流人才的教育培养。我国各财政部门应考虑加大我国物流人才发展的投入,来运用到各大高校的物流专业学科建设,加强物流专业硬件建设,为广大物流学子提供一个良好的学习氛围,为以后的发展打下坚实基础。

44加强校企合作,注重物流发展的实操性

学习是为了更好地运用到实践中去,我们要学以致用,知道企业所需要的是什么才能明确以后发展的方向。对于物流企业而言,面对激烈竞争的市场,拥抱大数据只是时间问题,企业所需要的正是能够利用智能筛选分析技术挖掘出隐藏在海量数据中的信息价值的物流人才,从而完成业务模式的创新。所以我们注重学生的实操技能,深入企业调查,加强校企合作,这样才有利于实现学生综合素质的培养。

45加强学生“大数据”理念,培养创新意识

“大数据”的核心价值就是服务,作为新时代的大学生,应该抓住一切“新”的东西,去挖掘其潜在价值。学校应培养学生创新意识,大胆想象,充分利用物流业的大数据,为不同的人提供最及时、最必要的服务。利用大数据的分析研究,我们可以为客户量身打造符合其自身特点的个性化服务,从而改变现有的制造业和商業模式。在大数据的时代背景下我们抓住了数据就等于抓住了机遇。所以我们应该利用互联网、云计算等技术,打造物流数据应用平台。通过建立数据仓库来筛选有效的客户信息,对其进行充分发掘与利用,从而实现物流大数据的创新。

5大数据时代下物流专业人才发展总结

物流人才发展应该放到一个战略高度,尤其是在大数据盛行的当今社会,物流业在我国方兴未艾,前景广阔,在一切技术还尚未成熟之际,此时人才的培养就显得尤为重要。抓住机遇迎接挑战,顺应大数据潮流,将大数据的理念合理运用到教学中去,加强学生信息化技术化建设,培养综合型物流人才。

总之,结合互联网和物联网技术,发展大数据时代下的综合型物流人才是大势所趋,也是物流业态经济发展的必然。通过信息技术改革现有的教学模式,同时大数据也会推动物流业的变革,我们需要转换一下我们的思维角度,在大数据的浪潮下,开展大规模的整合与改革。对于在改革的新时代中所涌现出来的机会,物流学子应该采取积极的态度去抓住机会,提高自身竞争力,来应对市场的激烈竞争,争取与时代共赢。

参考文献:

[1]魏继华大数据应用对物流企业竞争力的影响研究[J].商贸流通,2014(22).

[2]冯雪萍高职物流管理专业学生物流基层管理能力评价[J].物流技术,2013(1).

[3]张旺,杜亚丽,丁薇人才培养模式的现实反思与当代创新[J].教育研究,2015(1).

[4]杨红霞改革人才培养模式提高人才培养质量——国家教育体制改革试点调研[J].中国高教研究,2014(10).

[5]吴中江,黄成亮应用型人才内涵及应用型本科人才培养[J].高等工程教育研究,2014(3).

[作者简介]张洁,北京电子科技职业学院经济管理学院;赵静,北京电子科技职业学院经济管理学院,副教授。

作者:张洁 赵静

第4篇:大数据时代社会治理方式创新

编者按:互联网、物联网、大数据、云计算等现代技术正在深度改变人们的生活、工作和思维方式。大数据时代给社会治理提出了新机遇和新挑战,因此,应适应大数据时代社会需要,变革社会治理方式。推进大数据时代社会治理方式创新,无论从理论上还是实践上看,都是一个全新的课题。作为我国改革开放的前沿地带,深圳市福田区在运用大数据手段推进社会治理方式创新方面再一次走到了全国的前面,率先进行了探索,对于研究大数据时代社会治理方式创新,具有重要的理论和实践意义。深圳市福田区社会治理方式创新的实践探索

大数据时代,只有让政府以及各社会主体在合理共享各种最新数据的基础上,发挥各自的优势,深度挖掘数据的价值,在提供公共服务的方式、内容和机制上不断创新,以适应快速变化的社会需求和环境,才能不断提高我国的国家治理能力和实现社会治理方式的创新。深圳市福田区充分认识基础数据的重要性,在如何保证动态、精准、充分占有基础数据方面进行了卓有成效的创新和探索。突出大数据理念

针对大数据时代社会治理的特点,深圳市福田区在推进社会治理创新方面,树立大数据理念,推动智慧福田建设。

大数据应用的核心是数据处理。大数据应用要充分挖掘数据价值,进行深度应用。为此福田区提出实现“让数据多跑腿,让群众少跑路”的目标,以“采、用、享、碰、推、嵌”六个字来概括数据应用理念。

“采、用、享”是传统的数据应用,是信息化建设的第一次革命;“碰、推、嵌”是大数据时代的智能应用,是信息化建设的第二次革命,以“碰、推、嵌”的可视化倒逼“采、用、享”的进一步质量提升,指导前期系统的改造。其中“碰”即数据碰撞。如将街道计生执法、人民调解、安监执法、派出所接报的发案的出租屋,与未自主申报出租屋比对碰撞,推送给街道综管执法人员,通过发现问题推动执法,推进自主申报工作。“推”即智能推送。如福田的智慧政务开发了智慧福田门户APP和微信公众平台,辖区居民只要安装或关注,平台就会根据本人实际需求,有针对性地自动推送服务信息。“嵌”即智能嵌入。如可以将业务办理规则嵌入网格移动终端,如一旦采集满足条件自动推送。

树立“法治与证据”理念。大数据时代也是法制时代。改善大数据时代的社会治理,要进一步强化证据意识。福田区委、区政府强调提高社会治理能力要树立“经济社会是法治社会,法治社会是证据社会,只有掌握了证据才能掌握主动权,才能解决问题”的理念,注重用证据来说话,用证据来讲事实摆道理。同时强调收集证据不仅仅是政法部门的事,而是所有政府部门的事。

在智慧福田的建设过程中,福田提出了要实现信息证据化,既所有信息流程都要打标留痕,作为法定证据。通过法定签名、电子摄像等形式确定办事群众的法律主体地位,确保主体合法化;按照法律规定履行告知义务,使办事群众了解法律政策,掌握审批流程,提前准备相关资料,确保审批主动化;通过“审批结果电子上传—法律文书纸质确认—法律文书电子归档”的流程,确保群众申请、政府告知、电子归档、法律文书等环节实现流程证据化,对于执法、管理或服务工作中产生的各类文书、资料,电子化保存、归档,一方面,节约成本,延长保存期限,提高使用效率;另一方面,能长期保留证据,应对以后可能出现的申诉或投诉。

树立“信息支撑”和“流程再造”理念。在智慧福田建设和社会治理创新过程中,福田区从一开始就注重顶层设计,由区委领导统一协调部署相关工作,尤其强调“信息支撑”即建立“数据集中采集、资源多方共享”的共建共享机制,按照无条件提供信息数据的要求,打破信息壁垒,打通部门循环,促进资源融合,实现智能共享,为群众提供方便快捷、周到细致的服务;强调“流程再造”理念,整合全区现有各方数据资源、社会服务管理资源,全面调研各层级、各部门的业务需求和居民群众的实际需求,认真梳理各项业务工作的办事流程、业务关联、信息关联,通过循环交换、智能推送,简化程序、减少环节、再造流程,提升服务效能,方便群众办事。注重深度挖掘和发挥信息作用,并利用此机会进行政府各职能部门的业务流程再造。构建电子政务应用体系

福田区委、区政府以深圳织网工程和智慧福田建设为契机,依托大数据系统网络,着力构建以民生为导向的完善的社会建设电子政府应用体系,并在此基础上积极开展业务流程再造,有效提高了福田区的行政效能和社会治理能力。

建设“一库一队伍两网两系统”。一库即一个公共信息资源库,主要由基础信息库、业务信息库和主题信息库构成。一队伍即一支网格信息员队伍。以社区为基础划分为若干个基础网格,每个网格配备一名网格管理员,负责各类信息的采集。两网即社会管理工作网和社区家园网。两系统即综合信息采集系统和决策分析支持系统。

建设“两级中心、三级平台、四级库”。这是智慧福田的重点建设内容。两级中心即区管理运营中心和街道管理运营中心。三级平台即街道、社区、网格三级工作平台。四级库即区、街道、社区、网格数据库。主要目的是为“织网工程”综合信息系统在福田区全区各层面、各单位、各系统全面开发利用提供系统支持和技术保障。

构建“三厅融合”的行政审批系统。“三厅融合”即全面改革全区办证大厅运作模式,将区、街道行政服务大厅和网上办事大厅三厅融合,打造“综合受理、后台审批、统一发证、监督监管”的工作模式,实现所有审批事项“一网办、一窗办、一站办”。其特点为:一是梳理审批权责清单。老百姓面对的只是办事事由,只是综合受理窗口和发证窗口,不再面对具体办证部门。二是实行并联审批。涉及多部门审批事项,按照“一门受理、抄告相关、同步审核、限时办结”的原则,由政府内部进行“联审联办”,并联审批。三是实现即来即办。凡是提交材料齐全、不需上会或专家评审、现场勘查的申请,一律即来即办。四是实现全区通办。辖区居民可不受时间地域限制,进行网上申报,并可在辖区范围内任何受理点就近办理事务。五是实现无纸化办证。建设证照证件数据库,智能比对,不再要求居民提供相关纸质证明和重复提供复印件,只需要提供身份证或法人机构代码证就可以办理,着力解决申报材料多、重复提交多等问题。

建设政务征信体系。建设政务征信体系是福田区在社会信用体系建设政务领域的积极探索。其主要内容为:政务诚信信息主题库、政务诚信信息管理系统、政务诚信服务网站,以及配套制定的《政务诚信信息管理办法》,即“一库、一系统、一网站、一办法”。其主要建设内容为:一是诚信管理规范。二是诚信信息收集。三是建立政务征信信息查询系统,提供诚信查询服务。

通过大数据系统网络和电子政务应用体系建设,福田区全面梳理“自然人从生到死,法人从注册到注销,房屋楼宇从规划、建设到拆除”全过程政府管理服务相对应的所有数据,为实现信息循环、智能推送提供数据规范和数据支持。并在信息资源融合共享的基础上,广泛进行部门业务工作需求调研,理清部门之间的业务关系和信息关联,通过部门循环、信息碰撞、智能推送,再造工作流程,有效减少了工作环节,简化了工作程序,提升了服务效能,方便了群众办事。同时随着政务信息资源面向社会开放的逐步推进,各类社会组织、企业和公众将可以合理使用不含隐私信息的基础数据,为社会提供个性化服务和增值服务。找准流动人口自主申报切入点

随着社会不断发展,人口管理不断遇到各种挑战,日益成为社会治理的重点和难点。深圳现有总人口1600多万,其中户籍人口310万,流动人口1300多万,是珠三角乃至全国流动人口最多的城市,流动人口规模大、流动性高,具有人口总量多、农村户口多、租房居住多、同乡聚居多、无业人员多,年龄偏低、文化偏低,居住变化快“五多二低一快”的特点。深圳流动人口给社会建设和社会治理带来巨大挑战和压力,使深圳较早面临城市化过程中不可避免的人口服务与管理问题。为此,深圳把如何有效破解城市人口二元结构难题,使流动人口更好地融入城市,共享改革发展成果,共建平安和谐社会,作为社会建设和社会管理的首要任务。加强和改善流动人口管理成为提高社会治理能力和完善社会治理机制的重要切入点和抓手,通过大数据系统网络和电子政务应用体系建设,深圳市福田区在人口管理上创新性地开展了人口信息自主申报,使城区公民参与到人口信息采集工作当中,在提高信息采集效率的同时,促进了人口管理工作向社会治理方向改进。

统筹协调。福田区通过搭建信息自主申报服务平台,借助全市“人、楼、房”数据库和智慧福田数据库为支撑,强化房屋分类分级分色管理、申报信息审核管理、派单跟踪绩效管理等三项管理,推送法律宣传服务、短信提醒服务、上门办证服务、数据共享服务等四种服务,实现了便捷申报、重点管控、减员增效、居民自治、数据安全五个目标。同时,通过强化宣传推动和执法核查,实现居民遵守法律、自我管理和尊重诚信的社会氛围,运用网格化、信息化和大数据理念,进一步提高社会管理精细化、数字化和动态化管理水平。

搭建平台。提供便民实用的申报平台。一是实现自动注册批量推送;二是实现导航指引式操作,基层和群众普遍反映良好,满足了信息申报和管理需求;三是实现手机智能APP申报,群众通过手机扫描二维码,即可链接到手机网页视窗进行随时、随地申报;四是实现当事人只需录入两项信息便完成申报。同时,深圳市综管办向福田区提供深圳市近1亿条历史人口信息数据,用于自主申报的数据比对和信息迁移,实现了最大化的便捷申报。

信息申报。在人口信息自主申报过程中,福田区采取“大部分信息主动申报,少数信息上门采集核查”的运作模式。“主动申报、上门核查”,福田区将诚信申报的大部分信息直接入库,综管员只对部分存疑信息或未申报的人员上门核查。实行自主申报后,综管员把更多精力用于对隐患、事件信息的重点采集和深化管理,并通过网格固化属地管理和精细化采集,经过数据的比对分析,筛选防控对象、育龄妇女等重点人群,再由网格员有重点、有针对性上门采集、核实,确保纠纷、事件、计生等信息的获取不受影响。

宣传引导。在整个自主申报过程中,福田区充分运用报刊、电台、地铁(公交)、高层楼宇等平台,以移动电视、展板以及宣传折页、海报等媒体介质,开展全方位、多角度、立体式的宣传,市民对自主申报工作的知晓率和配合度显著提升,形成了自主申报的社会氛围。

同时,为确保自主申报工作扎实推进,福田区通过敬告执法和联动执法,大力开展专项执法行动,实现了自主申报“软约束”和“硬约束”。一是开展敬告执法;二是建立“三联执法”机制;三是开展专项执法行动。

强化监督。福田区通过建立健全指导督办工作机制,强力推进自主申报工作的全面开展。一是建立两级指导培训工作机制;二是建立每周通报工作机制;三是实施约谈推进工作机制;四是落实目标量化责任机制;五是建立奖励激励机制。

福田区多措并举推进人口信息自主申报工作,在理念模式和可操作性上独具特色,并经过一段时期的工作推进,取得突出成效。深化民生微实事改革

城市社区治理创新是社会治理创新的重要支撑点,而社区治理创新的重点则是如何完善社区居民参与社区治理的机制和渠道,如何提高社区居民公众参与社区治理的积极性,如何培育和提高社区居民社区自治的能力,只有社区居民才最了解本社区的情况和自身的需求与偏好,因此创新社区治理方式,激活社区居民自治是引导公众参与社会治理的重要途径,是形成多元化社会治理格局不可或缺的内容。在探索社区治理创新,激活社区居民自治方面,深圳福田区通过开展“民生微实事”改革,以高效、快速解决百姓迫切需要、普遍关注的小事、急事、难事为切入点,创新性地走出一条社区居民“自我管理、自我服务、自我教育、自我监督”的社区自治推进路径。

“民生微实事”改革的主要内容是福田区人大代表提出的由区财政安排专项资金,建设社区居民普遍关心和迫切需要的民生小项目。“民生微实事”项目的特点是单个项目资金量少,都是群众热切希望解决的惠民小项目。内容主要涉及小区设施维护、环境改造、文化服务等群众迫切需要的方方面面。福田区委、区政府高度重视这项改革,制定《福田区“民生微实事”改革项目工作指引》,同时把该项改革同2012年福田区创新推出的“居民议事会”项目相结合,实现了“以居民议事会为平台,以居民共同商议、集体决策实事项目为内容,以议事规则为保障”的“平台+内容+制度”的系统整合。“民生微实事”改革的所有微实事项目均来源于居民群众,并经居民议事会全体成员民主投票决议之后,按照“三议三公开”的原则组织实施。“三议”指项目由社区居民提议,街道党工委组织工作站、居委会、群众、专家商议,居民议事会决议;“三公开”是指决议结果公开、实施过程公开、实施结果和评价公开,充分发挥居民决议作用。以上措施有效激发了辖区居民参与社区管理服务事务的热情,发挥了居民自我管理、自我服务、自我教育、自我监督的民主自治权利。

通过实施“民生微实事”改革,福田区一方面提高公共服务支出效能,提升社区居民满意度,改善了党群关系,另一方面有效激活了社区居民自治管理活力,培育了社区自治能力。福田区的“居民议事会”平台本身聚集社区各类组织、精英、贤达、户籍和非户籍居民代表,是社区居民充分表达民意的基础平台。而2014年的“民生微实事”改革项目让这一民主平台更接地气、更有内涵、更具活力。

“民生微实事”改革项目,是福田区一场解决好联系和服务群众“最后一公里”问题的尝试。福田区莲花街道从“小事”入手,不断以问题为导向、需求为导向、实干为导向、责任为导向,创新社区管理模式,通过打造党群“互动圈”、民生“服务圈”、基层“法治圈”、居民“自治圈”,构建了上下互动、党群互信、同心同德、人人参与、邻里和睦的社区“生态系统”。

福田区社会治理方式创新的经验启示

福田区利用织网工程建设和智慧城市建设的契机,把新技术应用与社会治理机制创新相结合,对房屋管理、人口管理、社会参与机制等积极探索,其所取得的经验,对研究大数据背景下的社会治理方式具有重要的理论与实践价值。理念更新是大数据时代社会治理方式创新前提

当今时代,随着物联网、云计算、大数据、移动互联网的发展,传统的信息化和网络概念已经远远不能适应信息技术发展给社会和人民群众生活带来的巨大变化。同时传统的城市管理、居民服务和社会管理模式也必须通过改革实现重大创新,才能及时响应和满足大数据时代社会各个主体共同参与社会治理的需要。深圳市福田区的实践表明,深刻领会正确先进的大数据相关理念,对促进城市转型升级和提高可持续发展能力、提升社会治理能力、实现推进社会治理机制创新、促进社会治理实现管理精细化、服务智慧化、决策科学化、品质高端化,具有重要作用。掌握基础数据是大数据时代社会治理方式创新的基础

大数据时代,社会治理所需的数据和信息迅速增长,各项社会建设工作的开展、各种社会治理方式的创新和各种公共服务的提供都需要大量的基础数据与信息。如果没有掌握大量的基础数据与信息或者政府掌握的信息与数据不能及时更新,政府和各个社会主体就不能真正及时了解社会的各种需求,也无法规划和选择合理的提供服务的路径与方式。

为及时精准掌握全市社区基础数据,深圳市在全市实施“织网工程”,自2013年年底开始全面开展社区网格化管理工作。主要内容是:按照“属地管理、街巷定界、规模适度、无缝衔接、动态管理”的原则,将城市社区划分为一定数量的基础网格,作为社区服务管理的基本单元和相关职能部门实施网格管理的对接基础。

一是科学划分社区基础网格,至2014年5月底,全市共划分社区基础网格16417个。二是为规范基础信息采集行为、统一信息采集项目,开发社区综合信息系统终端采集软件,积极探索社区基础数据采集、传输、分流、清洗、二次应用的方法和经验。三是协调设立市、区网格管理机构。四是积极稳妥地推进网格管理队伍整合,按照“一格一员、采办分离”原则,对网格员进行定岗定责,统一采集网格内实有人口、实有法人、实有房屋(城市部件)、实有事件(矛盾纠纷和隐患问题)信息,提供给全市公共信息资源库。五是组织开展PDA采集信息。各区按照核定的网格员数量,逐步落实PDA设备选型和招标采购,网格员利用手持移动PDA设备和身份证读卡器,直接在现场采集、录入、上传人口信息。增强信息采集的实效性,而且提高了信息采集质量,特别是照片上传率、人口信息要素完整率明显提升。流动人口管理是大数据时代创新社会治理方式的有效抓手

现代社会是高风险社会,社会越发展,社会系统越复杂,系统也越发脆弱。社会的许多风险是隐形或潜伏的,并且风险的爆发具有不可预测和不确定性。而在全球化时代和信息时代,人员、信息、资本、资源的跨区域流动越来越频繁、规模越来越大,在促进社会发展的同时也加速了风险的传播和扩大。经过30多年的改革开放和快速发展,中国社会已经由一个低流动性社会发展成为高流动性社会,人口在不同地区之间流动的规模不断增大。人口流动规模及由其带动的社会资源流动规模扩大带来的社会流动性的大幅增加,强化和放大了各种社会风险,给社会治理工作带来无法回避的巨大挑战。

进入大数据时代,一方面,流动人口的规模更大,流动性更高,给社会治理带来更大的挑战。另一方面,新技术的采用、对数据价值的更深层次的挖掘和应用、理念的更新、政府职能的转变和业务流程再造、新参与渠道的不断扩展也为流动人口管理工作效能提升和社会治理能力提高提供了重要契机和可能。社会管理和社会治理的主要区别在于,管理偏重于政府的主体作用,治理则注重多元主体的共同作用。社会治理的创新和改善,离不开各种社会主体的对社会治理共同参与,而完善流动人口对社会治理的参与机制和参与方式,扩展流动人口参与渠道是进一步提高我国社会治理能力,完善治理机制的重要内容。

出租屋管理是联结高流动性社会中社会治理各个方面的关节点。大数据时代,社会也具有高度的流动性,在高度流动的人流、信息流、资本流和物流中,物业或房屋既具有相对的稳定性,同时社会治理的对象主要是人和各个社会主体,而任何人口的流动过程或者法人的变更过程都离不开居住地或注册地的变动。因此,加强出租屋管理是提高社会治理能力和强化流动人口管理的重要途径。2007年深圳在全国率先探索建立房屋编码制度。按照一户一码、统一编号的原则,对所有房屋包括合法和违法建筑分别设定了唯一的房屋编码,实现实有房屋全覆盖,并制作房屋电子地图。房屋编码实行动态管理,房建设码、房拆取消、定期普查、及时更新,房屋编码不仅是出租屋登记管理的重要依据,而且逐步应用到居住证发证、门楼牌管理和城市管理的其他方面。建设服务型政府是大数据时代社会治理方式创新的关键

大数据时代社会治理方式创新必须转变政府职能,建设服务型政府,充分运用大数据系统,提升政府便民服务水平,提高政府行政管理效能至关重要。从福田区的实践来看,从全员上门采集到有针对性上门核对,更多体现政府从“重管理”到“重服务”理念和行动的真实转变,核对信息的服务模式更容易让市民接受,也避免了重复扰民现象。另外,申报的数据通过与智慧福田综合数据库的碰撞,将实现区、街道、社区三级服务大厅和办事窗口之间数据的随机调用,市民在任何一个就近的办事窗口都可以利用申报的数据办理居住证、子女入学、计划生育、高龄补贴等业务,减少了大量纸质材料的提交、审核,提高了办事效率。同时,从社区居民密切相关“小事”切入,能够有效推进我国的城市社区治理从政府管理向社区居民自我治理转变,有利于为社会治理构建最为坚实的民意和群众基础。

同时,政府从上户全员采集信息到大部分信息主动申报的模式转变,政府把有限的资源用于对少数重点人群的管理,使政府资源的配置更趋合理,实现了由社会管理向社会治理方式的转变。另外,自主申报不再是人海战术的上户采集,只需对自主申报的信息开展有针对性上户核查和上门服务,各街道把释放出来的人力、财力用于民生服务和稳定队伍、优化结构,调动了基层一线工作人员的积极性。实施自主申报后,全区综管员配备减少11%,减员增效初步显现。

(调研组成员:张文王强 乔智陈明达 唐玉春 曹立)

第5篇:大数据时代的社会管理

程连元:大数据时代的网络社会建设 中共北京市朝阳区委书记 程连元

中国政务信息网 | 时间:2013年9月26日 | 来源:国际城市论坛组委会

各位嘉宾,大家上午好!我今天上午演讲的题目是“大数据时代的网络社会建设”。国际城市论坛作为北京CBD国际商务节的重要品牌活动已经成功的举办了九届,今天举办的是第十届年会了,今天的主题还是“加快社会改革,推进城市创新”。论坛连续三届围绕新时期社会建设和社会服务管理创新展开了研讨,这是当前经济社会发展的内在要求,也是我们必须认真研究的重要课题。今天我借这个机会想与大家一起研讨一个新的课题,就是“大数据时代的网络社会建设”问题。 大数据是这个时代的一个最新的标志,大数据是下一个生产力提高、行业竞争、城市创新的前沿,是夺取新一轮的综合实力竞争制高点的重要抓手。在大数据时代背景下,以网络社会建设为突破点,推进社会管理创新,既是社会进入转型期的迫切要求,也是提高党的执政能力,巩固党的执政地位的重要保障,对各级党委政府的执政提出了一个全新的命题。

我想讲三个方面,第一个方面,网络社会带来的新的变化。网络社会与现实社会具有很强的关联性,虚中有实,实中有虚,但相比于现实社会,网络社会还存在着很大的差异性,主要是体现在以下五个方面的变化:

一是要素变化。现实社会的基本要素是人、家庭、社会组织,在网络社会则变为人、组织、网络。要素的变化和交叉带来了多种秩序的重构,打破了现实社会交往的时空阻隔和社会障碍,促进了跨界的各种“趣缘”群体和“亚文化”族群的繁荣,以一种新的形式发挥着社会组织的聚合功能。

二是结构变化。网络社会是一个复杂、开放的巨系统,这个巨系统打破了传统组织的层级化结构,呈现出扁平化特征。个体的身份经历了从单位人、社会人到网络人的转变过程。政府、企业、社会组织、公民等各种主体都以更加平等的身份参与到网络社会的互动和合作之中。

三是媒介变化。网络社会集成了新媒体、互联网、大数据等多项介质,网络社会的生活属性、媒体属性出现了叠加,在信息的传播上能够快速的形成放大效应、集聚社会共识,具有强大的社会影响力。媒介的变化又带来了新的社会力量,重构新的社会秩序。

四是思维的变化。网络社会中惯性思维逐渐消失,身份意识和自我认知弱化,新的思想从出现到接受的过程加速,网络聚合效应改变着对传统管理方式的认知,外部环境对社会变革的影响加大,思维方式从传统的因果型向相关型转变。

五是秩序变化。网络社会的秩序与流动空间表现为无序化、边缘化,由于网络社会实现是多层次、多主体的对话,协商、参与、合作,改变了以往传统的组织结构和社会管理机制,因此,需要在网络社会重构虚拟社会制度以及实施再组织化建设。

第二个方面,网络社会建设呈现新的趋势。基于网络社会新变化,网络社会建设呈现出四个方面的新的趋势:

一是网络社会建设成为创新城市发展的必然选择。在全球化、信息化、个体化三种力量推动下,城市化进程加快、人口流动加快、地域观被改变。网络社会建设是快速适应这些变化,创新城市发展理念、发展思路、发展模式,破解二元结构、促进城乡一体化健康发展的现实需要,也是推动城市转型升级和推进政治文明、社会文明建设的战略选择。

二是线上线下一体化成为网络社会建设的重中之重。网络社会建设激发社会领域的深层次改革,需要重新构建一种政府、市场、社会治理结构,要加强和改进网络社会管理方式,促进线上线下服务管理,使线下的服务管理向线上延伸,实现线上线下一体化。这就需要我们加大信息公开力度,实现政府系统内、系统外之间的信息顺畅交流和信息的共享;需要我们突出服务优先,加大面向公众的行政服务、便民服务、公益服务资源的整合、集中;需要我们进行有效的管理,加快形成建设、管理、服务、监督四位一体的社会服务管理体系;需要我们加强公信力建设,以政府公信和社会诚信建设为核心,激发各类主体共同参与社会服务管理的热情。

三是网络的再组织化成为网络社会建设的重要着力点。网络的再组织化是一个动态的过程,文化是再组织化的核心与纽带,再组织化需要理念创新、组织创新和制度创新,包括网络社会建设理念和价值观的确立、网络社会治理主体结构的拓展和优化、合作治理机制的构建等等。如何利用网络社会不断地重组变化,将政府治理目标融入其中,是网络社会建设的着力点和创新点。

四是构建网络空间秩序成为政府与社会的共同责任。由于网络空间的无序化、无边界化,导致当前构建合理的网络秩序成为当务之急。构建网络空间的自由与秩序是一种战略管理,必须充分发挥政府、社会、公民等多方面积极性,共同构建互相尊重、信息共享、传播正能量、文明和谐、维护安全、依法治理的网络社会新秩序。

第三个方面,大数据时代基层网络社会建设的初步思考。处在国际化前沿阵地的朝阳区强烈的感受到网络社会带来的影响,朝阳区是首都的综合经济强区,也是传媒大区,区域内聚集了一大批全国最具影响力的传媒机构,90%的外国驻京传媒机构,两万五千余家登记备案的网站。近几年数字广播、网络视频、手机电视等新媒体产业保持在30%以上的增速,仅CBD定福庄传媒走廊就聚集了阿里巴巴等两千多家互联网企业。对朝阳区而言,网络社会建设不仅是理论课题,更是实践课题。对于地方党委政府,我们认为要破解这一课题,需要着力把握好五个方面的问题。

一是转变观念。要牢固地树立以下四种意识。第一,政治意识,要把网络社会建设上升到维护党的执政地位的高度来对待,巩固党的执政基础。第二,责任意识,要将网络社会建设作为促进区域健康发展的内在需求来看待,主动的找准角色定位和工作定位,促进科学发展、民生幸福。第三,机遇意识,只要我们认识到位,应对得当,网络社会一定会成为我们提升城市管理水平、加快社会建设的新机遇。第四,统筹意识,要立足长远发展,整体统筹,监管并重,标本兼治,分阶段、有重点的开展。

二是突出重点。毛泽东同志讲“没有重点就无所谓政策”,当前,基层的网络社会建设要突出保安全、稳秩序、促发展三个重点任务。第一,保障安全,整治网络谣言、网上个人信息泄露、网络诈骗等乱象,把牢意识形态的管理权、领导权、话语权。第二,规范秩序,充分发挥网络社会组织和网民的作用,培育和强化自律机制,建立党委政府主导与网络社会新群体相结合的协同治理体系,实现网络社会有序发展。第三,促进发展,发挥网络社会的内在优势,激发全社会的正能量,凝聚新共识,使网络社会成为促进社会建设的好抓手,提升政府治理的好载体,推动经济发展方式转变的新动力。 三是构建格局。第一,建立健全基层大党委制度,打造党委统一领导,党政齐抓共管,宣传部门组织协调,各有关部门和属地分工负责,辖区社会单位和民众共同参与的无缝隙、扁平化模式。第二,推进组织革新和流程再造,提升管理体系的整合力和回应力,抓好纵横对接、内外协作,培育发展网络社会组织,加强与辖区网络大V、意见领袖、网络作家等新兴群体的对接,探索建立工作联盟,培育形成网络社会的运行规则和基本的价值体系。第三,强化责任制,把网络建设的政治责任和领导责任落实到各级领导,把工作责任落实到岗到人。

四是发挥优势。要发挥基层贴近群众的优势,把人的工作作为核心,深化干部下基层工作,完善问政于民、问虚于民、问计于民的工作方法,做好第一手信息的采集,做到知民情、解民忧。要发挥基层组织网络的优势,以党组织网络建设为纲,扩大基层党组织网络建设的覆盖面;以枢纽型社会组织建设为目的,将现实社会管理、组织体系延伸到网络空间;以人为节点,以社会组织为网格,建立新型的网络社会。要发挥基层文化体系的优势,完善公共文化网络服务平台,用先进文化占领网络阵地,凝聚网络文明共识,用正面的声音来化解负面质疑,用事实信息来挤压网络谣言蔓延,发挥基层的防火墙作用。

五是创新机制。创新群众参与机制,利用各种网络新载体来强化党政公开,扩大促进公共参与的渠道和范围,邀请新兴网络群体参与决策,传递正确的声音。创新网络建设机制,建强用好政府网站群,加大与辖区的重点门户网站和网络社区联动,打造联系紧密、联动有力、联合有效的大网站体系。创新舆情监测预警机制,针对治安防控、公共安全、应急管理、网络舆情等领域完善源头治理、流程监测和应急处理机制。创新政策解释机制,建立具有公信力的事件调查、信息发布、政策解读流程,及时、正确、权威的发声。创新研究机制,深入的研究基层推进网络社会建设的重点和难点问题,及时总结经验,探索规律,提高工作的前瞻性和预见性。

各位嘉宾,同志们,清代学者彭端淑在《为学》中写道“天下事有难易乎?为之,则难者亦易矣;不为,则易者亦难矣”。在当前大数据网络时代也同样如此,面对网络社会建设中的诸多难点问题,只要我们抱着“为之,则难者亦易矣”的心态,统筹谋划,主动作为,就一定能够开辟新天地,营造新气象,谢谢大家!

第6篇:大数据时代的基层社会治理创新

摘要:本文在介绍和评述大数据时代基层社会治理创新典型案例的基础上,探索出一条借助于大数据加强基层社会治理创新、以现代信息手段推进社区管理和服务的新路,为大数据时代的基层社会治理创新提供了重要启示。

关键词:大数据 基层社会治理创新 网格化服务 信息技术 互联网

大数据是继互联网、物联网、云计算之后,又一新的技术革命,它标志着人类社会正从信息时代、知识时代向智能时代迈进。大数据时代为基层社会治理创新提出了新的机遇和挑战,大数据时代,如何把大数据技术运用到基层社会治理中,是一个需要各级政府认真思索和深入研究的问题。

最近,我们对抚顺市高山社区利用大数据来创新社区治理的实践进行了多次调研,了解到该社区在社区管理和服务中,尤其是在基层社会治理中,具有大数据思维,使用了大数据技术,取得了非常好的效果,这种做法值得参考和借鉴。

一、高山社区以大数据推进基层社会治理创新的基本做法

高山社区位于辽宁省抚顺市顺城区北部高尔山脚下的城乡交界处,是2006年底棚户区改造后回迁的。2012年,高山社区在抚顺市率先垂范实行网格化管理。利用大数据思维以及使用大数据技术,将高山社区划分成5个网格,形成“人到格中去,事到格中办”的管理和服务模式。将环境整治、维稳综治、安全生产、民生保障和便民服务等工作下沉到网格,构建以大数据为依托的全方位社区服务框架。社区管理和服务形成崭新氛围,获得全省远程教育示范站点、全省就业示范社区、全省学习郭明义先进社区、全省打击传销示范社区、全市文明社区和全市和谐创建先进社区等荣誉称号百余项。

(一)完善基础信息采集,建立社区服务信息库

拥有真实可靠的数据信息是大数据应用的前提和基础。高山社区结合网格化管理,借助“一图两表四册”入户采集信息。采集整理的数据分为基础数据、政务管理和公共服务三大类,把房屋数据、人口数据和社会组织等划分为基础数据,把走访数据、党建数据和舆情数据等划分为政务管理数据,把服务数据、政策公告、医疗数据和活动数据等划分为公共服务数据。构建“问需于网格、分解整合、零距离服务”的数字化管理和服务平台,从而为居民提供精细化的服务。

(二)以居民需求为导向,创新社区管理和服务

(三)以服务居民为宗旨,实施社区网格化服务

二、高山社区以大数据推进基层社会治理创新的显著效果

大数据时代,大数据是提高治理水平和提升治理能力的重要方法和措施,高山社区以大数据推进基层社会治理创新,成效显著。

(一)提高了社区管理和服务能力

中国共产党的根本宗旨是全心全意为人民服务,而应用大数据的终极目的也是利用数据信息的价值性为人类社会服务。如何满足居民日益增长的物质和精神需求,如何依法保障居民的各种权益,如何使居民得到更多实惠,是高山社区为奋斗目标。一方面,实施惠民工程,强化社区公共服务效能。为了使居民可以自由参与、主动发声,高山社区创建了社区论坛。利用这个互联互通的对话空间以及发声渠道,各利益主体实现了线上对话和线下协商。社区居委会可以及时地发现居民的利益诉求,通过“两代表一委员”进社区,组织线下的协商协调,圆满地解决了困扰居民多年的难点和热点问题。另一方面,强化志愿服务,加大社会组织的培育。高山社区基层社会治理创新模式的成功有一个重要的原因是建立了社区、居民、政府和企业的共赢机制,这也是社区治理可持续发展的一个重要保证。高山社区有效发挥党员先锋模范带头作用,积极向政府寻求帮助,吸引辖区企业和民间组织参与社区治理。

(二)增强了社区居民自治能力

不断增强社区居民的自我管理和自我服务能力是基层社会治理创新的终极目标。高山社区一方面积极探索政府购买服务,另一方面大力培育公益性社会组织,服务居民的渠道不断拓宽。通过建构“共驻共建、多方参与、管理有序、利益协调”的基层社会治理模式,优化了基层社会治理结构,使居民更加主动全面地参与到社区建设中来,形成多方参与的工作氛围和基层社会治理体系。目前,高山社区建立了居民议事制度,设立了党代表工作室、民情议事厅。不断地提高社会组织、辖区单位、志愿者队伍和居民主动参与社区自治的热情,不断地强化社会组织的作用,有效地加强了居民自我管理、自我服务和自我教育的能力。

三、从高山社区以大数据推进基层社会治理创新得到的启示与思考

大数据是信息技术发展的必然结果,目前各行各业已经广泛应用。在基层社会治理中,我们要积极利用大数据来实现社区居民的自我管理、自我服务和自我教育。从高山社区的实践来看,我们得到的启示与思考如下。

(一)培养大数据思维是大数据时代基层社会治理创新的基础

随着信息技术的迅猛发展,云计算、移动互联网、物联网和大数据大展身手,智慧城市落地生根,过去的信息化概念已经跟不上信息技术发展给人民生活带来的巨大变化的脚步。因此,传统的社区管理和社区服务必须通过改革实现创新与突破,才能满足大数据时代多个主体共同参与基层社会治理的需要。从高山社区的实践探索不难发现,转变观念、培养大数据思维,把大数据理念为我所用,有助于增强基层社会治理能力,有助于基层社会治理机制创新,有助于基层社会治理管理个性化化、服务智能化和决策智慧化。

(二)掌握基础数据是大数据时代基层社会治理创新的关键

大数据时代,掌握基础数据是基层社会治理创新的关键。各项公共服务的提供以及基层社会治理创新,都需要大量的数据。否则就不能准确了解居民的各项基本需求和个性化需求,也很难提供精准化、个性化的服务。高山社区为了及时掌握精准数据采取了以下做法:第一,科学划分社区基础网格。第二,开发社区采集综合信息系统终端软件。主动学习和探索社区基础数据采集、存储、分析、整合和控制的方法,使基础信息采集规范化、标准化。第三,整合规范网格管理人员队伍。网格员实行定岗定责制,统一规范采集本网格流动人口、常住人口、辖区企业等信息,提供给街道公共信息资源库。

(三)确保数据安全是大数据时代基层社会治理创新的保障

第一要在信息系统的软硬件投入方面做技术上的安全保障。第二在制度建设方面要重视数据的采集和应用。如何把握好个人隐私和数据开放之间的度,如何把握好数据需求与国家信息安全之间的度是值得认真思考的问题。高山社区的实践表明:第一要理清社区工作人员的职责范围和工作权限。每个网格的网格长和网格员应该只有录入、修改和访问本网格居民信息的权限,而不具备登录访问其他网格居民信息的权限。这有利于避免人员流动等原因造成的信息泄露。第二要保证数据应用者使用的数据信息是非隐私的。这既能促进数据的共享和开放,又有利于保障公众的个人隐私,避免商业企业秘密的泄漏。

第7篇:大数据报告

课程总结报告

学生姓名: 尹怡 学

号: 1370714 导

师: 庞哈利 专

业: 控制工程 所属课群: 学位课

课程名称: 前沿技术与职业发展 课程负责人: 徐林

课程开设日期: 2014.6.23-2014.12.31

东北大学信息科学与工程学院

2014年

科学技术创新对大数据发展的动力

1.绪 论

随着信息技术的飞速发展,人类社会进入数字信息时代。获取和掌握信息的能力己成为衡量一个国家实力强弱的标志。一切信息伴随需求不同决定其效益不同,而一切有益信息都是从大量数据中分析出来的。海量数据又随时间持续产生、不断流动、进而扩散形成大数据。大数据不仅用来描述数据的量非常巨大,还突出强调处理数据的速度。所以,大数据成为数据分析领域的前沿技术。数据成为当今每个行业和商业领域的重要因素。人们对于数据的海量挖掘和大量运用,不仅标志着产业生产率的增长和消费者的大量盈余,而且也明确地提示着大数据时代已经到来。

数据正成为与物质资产和人力资本同样重要的基础生产要素,大数据的使成为提高企业竞争力的关键要素。数据成为资产、产业垂直整合、泛互联网化是数据时代的三大发展趋势。一个国家拥有的数据规模及运用的能力将成为综合国力的重要组成部分,对数据的占有权和控制权将成为陆权、海权、空权之外的国家核心权力。 大数据与人类息息相关,越来越多的问题可以通过大数据解决。不仅在数据科学与技术层次,而且在商业模式、产业格局、生态价值与教育层面,大数据都能带来新理念和新思维,包括政府宏观部门、不同的产业界与学术界,甚至个人消费者。大数据与互联网一样,是信息技术领域的革命,更加速企业创新,在全球范围引领社会变革并启动透明政府的发展。

大数据正在引发一场思维革命,大数据正在改变人们考察世界的方式方法,以前所未有的速度引起社会、经济、学术、科研、国防、军事等领域的深刻变革。大数据除了将更好的解决商业问题,科技问题,还有各种社会问题,形成以人为本的大数据战略。 大数据这一新概念不仅指数据规模庞大,也包括处理和应用数据,是数据对象、技术与应用三者的统一。大数据既可以是如政府部门或企业掌握的数据库这种有限数据集合,也可以是如微博、微信、社交网络上虚拟的无限数据集合。大数据技术包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。大数据应用是应用大数据技术对各种类型的大数据集合获得有价值信息的行为。充分实现大数据的价值惟有坚持对象、技术、应用三位一体同 步发展。大数据是信息技术与各行业领域紧密融合的典型领域,有着旺盛需求和广阔前景。把握机遇需要不断跟踪研究大数据并不断提升对大数据的认知和理

解,坚持技术创新与应用创新协同共进同时加快经济社会各领域的大数据开发与利用,推动国家、行业、企业对于数据的应用需求和发展水平进入新的阶段。

在大数据时代数据作为一种独立存在的实体,其资产价值越来越突出,日益引起人们的重视。从具体的个人到形形色色的企业,从各国政府到各种组织都可以合法地去收集数据。不论个人还是企业,以及政府等都可以是数据的拥有者。今后个人隐私与数据归属权可能关系越来越少,欧洲民众要求政府公开信息的诉求极其强烈,民众有权向政府申请信息公开。除了涉及国家安全和个人隐私的公共信息外,大部分政府信息都可以公开。

大数据主要有三个方面对人类经济社会发展影响巨大,归纳起来:一是能够推动实现巨大经济效益,二是能够推动增强社会管理水平,三是能够推动提高安全保障能力。大数据在政府和公共服务领域的应用可有效推动政务工作开展,提高政府部门的服务效率、决策水平和社会管理水平,产生巨大社会价值。总而言之,大数据将为人们提供强有力的新工具,使人们能更加容易地把握事物规律,更准确地认识世界、预测未来和改造世界。

大数据可以分为大数据存储和大数据分析,大数据存储的目的是支撑大数据分析,大数据存储致力于研发数据存储平台,大数据分析关注在最短时间内处理大量不同类型的数据集,大数据分析相比于传统的数据仓库应用数据量大、查询分析复杂,大数据分析平台需要具备并行数据库、Map Reduce 及基于两者的混合架构。

2.社交网络崛起的大爆发

我们已经进入一个复杂科学领域,随着云计算、云存储、物联网、二维码技术和 LBS(基于位置的服务)的互联网技术广泛应用,人类的各种社会互动、沟通设备、社交网络和传感器正在生成海量数据。商业自动化导致海量数据存储,但用于决策的有效信息又隐藏在数据中,如何从数据中发现知识,以数据挖掘为代表的大数据分析技术应运而生。

1、社交网络的公共性

社交网络是大数据的重要来源,大数据的社会应用与社会价值就来自于社交网络,比如

国外影响巨大的 Facebook 和 Twitter,国内近年来风起云涌突然兴起的微博,特别是大家关注度非常高的新浪微博,这种网络交流平台具有媒介属性,日益成为影响不可忽视的的社会化媒体,每分每秒时时刻刻都在产生数以亿级形形色色

的话语文本。人具有与他人交流、分享、传播信息的天生需求,与他人直接交流互动和传播各种信息加大了人的社会交往,基于人际关系的信息传播创造了数量庞大的关系数据,扩大了大数据的社会价值与社会影响,带来商业上的无限想象力和各种企业的商业应用价值,大数据产生的技术背景离不开社交网络,移动互联网和物联网的发展导致大数据越来越大,具有随时收集、即时应用、及时生产 的重要特点。

例如时装产业产生的大数据基本源自无处不在的社交媒体。全世界每天都有 10 亿人以上在社交网络上交流信息发表观点。每一刻都会有上百万人通过社交媒体点赞分享、转发微博、讨论时尚、引导潮流。大数据时代,越来越多的各大品牌知名设计师直接利用社交网络与公众交流,让大众直接参与到设计当中,根本改变了此前这一行业的封闭性,不再只对时尚界的所谓精英开放。越来越多的品牌比如巴宝莉选择在时装秀之前的通过官方微博账号发布了模特们在后台的照片,许多顶级设计师愿意在网上发布自己全新的设计,如奥斯卡・德拉伦塔在Instagram上通过微博发布了最新款式的高级女装成衣系列。顶级买家被流行博客写手取代,网络红人占据了时尚杂志主编的前排座椅,在社交媒体上拥有大批微博粉丝的摄影师对大众的时尚影响力远远超过传统的精英人群。

2、社交网络的价值性

在一定程度上,大数据的社会应用价值越来越多的来自新型的社交媒体,在这些影响巨

大的微媒体社会背景下,大数据参与渗透进入各种各样的商业应用领域,产生巨大的社会影响,微博营销开始成为商家的选择,已成为目前最显著的商业模式,是大数据最直接的商业应用。社会化媒体直接成为企业首选地营销工具,企业通过社会化媒体发布有效信息,直接影响和引导消费者的潮流,主动收集来自消费者的反馈信息,积极进行互动,成为利润来源的重要渠道。社交网络互动传播彻底改变传统大众媒体单向的传播方式,可以针对具体特定不同的各种目标群体,通过信息技术点对点直接传递不同的特定信息,影响舆论,改善声誉,建立美誉度,有助于形成购买决策。很多企业关注从海量采集的关系数据中提取发现真 正有价值的商业信息,建立客户档案,实现精准营销,追踪目标客户,分析客户价值建立商业模型。

企业开始加强了解社会化媒体,其深刻认知和巨大投入将产生新的媒介形态并实现产品营销的新思路。社交大数据不仅仅对个别企业,而且对一些相关行业

都可以带来及其深刻的巨大变革。第一大数据有效改善传统的营销方式,与之相比利用有效精准的大数据营销,可以保持前期的大量曝光,中期的利益转化,到后期的实际购买,所有行为都是可提前预测并且随时监测的。效果可量化评估是采用大数据带来的前所未有的最实质性的根本影响;第二在社交这个环节,会产生越来越多的普通消费者在网络上通过各种社交媒体随时反馈自己在使用过程中对企业突出的产品以及建构的品牌形象发表看法,这个互动的过程会不断产生各种各样许多富有价值的有效信息,甚至还会包括发现一些潜在的意想不到的市场需求。对一个处在发展阶段的企业来说,这些有效信息不仅帮助他们可能采取措施调整原有传统产品,甚至引发并且催生新的不一样的商业模式。洞察消费者需求是大数据追求的核心价值;第三大数据可以变革某些具体行业,比如电影行业大数据可以根据实际数据能够预估票房,在金融行业可以进行前瞻预测提前作出调控措施,企业可以根据采集的大数据建立一些加上模型,预测消费者行为,进行数据分析。就连奥巴马为了赢得美国总统大选,他的团队就采集利用来自各种社交媒体产生的数据进行有效分析,做出民意评估,监测舆情,帮助连任,无疑发挥出来巨大的推动作用。

3、社交网络的应用性

社交媒体可以很短时间产生很大信息量,采取有效方法运用海量数据才是每个企业在市场面临的棘手问题。社会化媒体必须学会处理数据,具体步骤可以分为以下内容,首先进行收集,然后根据数据的不同类型导致具有不同用途,经过判断有些可以用于市场评估,反映市场效果,进一步了解市场,时时监测竞争对手,获得市场情报;还有一些可以通过信息技术采取自然语言处理,比如适当分类,有效聚类,快速获得消费者的需求以及人们对企业产品和所在行业的及时反馈和相关看法,利于企业做出判断,快速做出相应调整。例如电视广告价格很贵,媒体投放成本相对较高,一个企业的销售广告同时有 15 秒和 30 秒两个不同版本,但事先难以确定哪个版本更能吸引消费者,这时可以提前把视频传播至互联网,通过无处不在的社交媒体进行免费传播。应用大数据技术可以把采集消费者的信息,快速收集所有评价加以系统分析,找到有助于传播的元素,分析引起消费者反感的原因,快速提前测试有助决策,为广告主节省大量成本。通过大数据企业与用户间出现新的沟通方式,商业模式正在发生变化,在全世界社交媒体都引起市场变革,表现出企业日益关注消费者,用户重要性正在不断凸显。2012

年9月一家美国调研机构对市场营销人员进行调查,将近2/3的受访客户承认提高在广告营销领域采用数据管理平台的原因出于挖掘大数据的市场需求。

运用社交大数据,关键在于拥有数据。尽管用户数量不迅速增加,但预测用户行为,提出更精准的建议,仍然需要采集更大更多的数据量。如果数据处理能力没有提高,不能结合实际商业场景,就不会形成精细落地方案,既不可持续,也不可获利,导致社交大数据发展面临挑战。只有提高分布式计算、改善存储功能,加快实时计算的能力,才会实现价值。如果没有实际应用,大数据技术就不会产生实际意义。

大数据带来市场变革,挑战已有经验,颠覆已知模式,引领人类走向智能社会,数字化生存成为新的生活方式,社会化媒体随时记录人们的社会生活,感知行为态度、参与交往过程、建立互动关系,数据记录不仅保存而且可以分析,产生新的社会科学研究方法,拥有预知社会的可能性,在社会科学领域产生革命性变革和影响,大数据直接改变社会科学研究的模式和路径。

3.物联网发展的促进作用

随着物联网迅速发展,各种行业、不同地域以及各个领域的物体都被十分密切地关联起来。物联网通过形形色色的传感器将现实世界中产生的各种信息收集为电子数据,并把信号直接传递到计算机中心处理系统,必然造成数字信息膨胀,数据总量极速增长。 2.1、物联网形成产业链

物联信息不仅仅包括物联管理对象信息与物联感知设备信息,更突出物联实时信息。根据物联网数据的来源可以分成传感器感知数据和社交网络数据两种。虽然目前网络上产生的数据多于各种传感器感知到的数据总量,但是随着物联网设备的日益普及和感知技术的进步,传感器产生的数据量将大幅增加,最终将超过网络数据量,这种趋势越来越明显。

物联网改变了人们的社会活动形式,改善了人们的生活方式,变革了商业模式,被称为第三次信息化高潮,继计算机、互联网产生之后对社会的发展产生新的冲击。物联网把对象物和互联网相互连接起来,即时信息交换,智能化识别,实现定位跟踪,监控管理对象,产生大量数据,影响电力、安防、医疗、物流、交通、环保等行业形成新的商业模式。物联网联合大数据,正在迅速创造出巨大的社会价值和商业价值。

中国信息产业商会乐观预测,中国在 2013 年传感器设备将继续保持市场规模,表现快速增长势头,中国物联网 RFID 产业市场达到 320 亿元左右,规模将比 2012 年增长 35%左右。物联网伴随着移动互联网和云计算的迅猛崛起,物联网产业链上的各环节成本减少,相关产品价格迅速下降,进一步带来物联网硬件及其基础设施的大规模普及。同时,工信部联合财政部提供专项资金用以支持物联网发展,2013 年投入的专项资金将超 5 亿元。而在政策支持与市场反馈的协同发展推动下,业内人士大胆预测未来数年物联网会全面推广大规模普及,其产业规模或许比现有互联网大 30 倍。

物联网发展离不开基础建设,需要设备制造企业提供传感设备与网络核心设备,随着存储能力非常巨大的云计算中心的不断建设和投入使用,物联网持续产生的大数据可以随时存储,在线处理,产生价值,成为现实。企业需要思考物联网收集的大数据与其产业发展的融合与转换,将数据转化为利润,开辟市场蓝海,收获真金白银,发明新的商业模式,形成新的商业思维。 2.2物联网产生大数据

物联网大数据成为焦点,引起各大 IT 巨头越来越多的注意,其潜在的巨大价值也正在通过市场逐渐被挖掘出来。微软、IBM、SAP、谷歌等国际知名 IT 企业已经在全球分别部署了大量数据中心,还拿出大笔资金收购擅长数据管理和建构分析方面的优秀软件企业。这些物联网产生的大数据来自于不同种类的终端,比如智能电表、移动通信终端、汽车和各种工业机器等,影响生产生活的各个领域,各个层面,不可小觑。

物联网产业链的核心不是设备和元器件,而是数据以及数据驱动的产业,物联网的核心价值不在感知层和网络层,而是在更广泛的应用层。物联网产生的大数据经过智能化的处理、社会化的分析,将生成各种商业模式,产生各异的多种应用,形成了物联网最重要的商业价值。

处理物联网收集的大数据并不容易,物联网中的大数据不简单等同于互联网数据。物联网大数据不仅包括社交网络数据,更包括传感器感知数据,尽管社交网络数据包含大量可被处理的非结构化数据,比如新闻、微博等,但是物联网传感器收集的许多碎片化数据属于非结构化数据,在目前还不能被处理。

物联网应用于多个行业,而每个行业产生的数据有独特的结构特点,因此就形成很多相异的商业模式。物联网创造商业价值的基础是数据分析,物联网产业

将出现各种类型的数据处理公司,比如数据分析公司,软件应用集成公司和商业运营公司将逐步分化,产业链将逐步完善。

中国物联网刚刚进入应用阶段,刚刚起步,调查物联网产业最前沿的一线参与主体,可以发现主要包括 RFID 标签厂商、传感器厂商、电信运营商和一些系统集成商。目前各地已经建成的大量物联网系统已经开始进入市场,主要应用于远程测量、移动支付、环境监控等方面。另外主要分布在物品追溯系统和企业供应链管理等方面,应用较多的医疗健康、智能电网、汽车通信等服务也已开始出现,积极探索盈利,努力获得用户,占领高端市场。 而在物联网应用的过程中,我们发现电信运营商起到主导作用,扮演起行业龙头,发挥带动的作用,另外中国电信表现突出,也开始宣传自己物联网应用系统用于全球远程监控。而电信运营商之所以分外努力推广应用物联网,不仅仅在于运营商可整合硬件、芯片、应用等各步骤中的许多优秀合作伙伴,在运营方面以外,还在于物联网广泛应用在电信终端,可以有效整合电信互联网产业链的推进。电信运营商的示范不仅积累实战经验,甚至可帮助电信运营商将业务在物联网中拓展为系统方案解决商,介入各种增值业务。 2.3物联网催化大商业

看待电信运营商,可以应用大数据的观点,物联网商业模式将更多的移动终端容纳进来,作为数据采集设备,加以信息化应用,适应市场需求,成为物联网跨界发展的趋势。这种数据如果能得到运营商快速化、规模化、跨领域的广泛应用,那么电信运营商可能获取的商业回报会进一步参与到物联网的各个建设环节中,并且还可能使越来越多的商业信息被运营商掌握。这些信息驱动企业合作,推动参与各方共同寻找一种多方共赢的路径,建立新型商业模式。实现应用物联网数据,特别需要升级商业模式,真正创造多方共赢的有利环境。而要建立多方共赢的理念,就应该推动物联网真正成为市场的中心,变成一种商业的驱动 力,吸引产业链内的所有企业共同参与物联网发展建设。

现在大部分行业的商业信息移动化、社交化,大数据必然会成为最佳捷径,实现用户商业价值的。物联网大数据支撑商业开展,服务商业决策,提供各种行业信息,因此物联网大数据的未来是无限的,富有商业魅力。物联网大数据要获得产业健康有序发展,不能仅在概念上停留,还需要政策支持,市场完善以及产品持续的不断创新。而更为重要的方向是推动不同部门、不同机构、不同行业之间共享物联网大数据的问题。各部门公开数据、分享数据才能利用数据深层价值,

产生数据的附加价值。虽然目前交通、电力、工业等不同行业还没有合为一个物联网,但是共享不同行业的各种数据信息是可行的。而目前政府部门也开始意 识到数据单一难以发挥最大效能,开始寻求数据交换伙伴,部门之间已经开始相互交换数据,必将成为一种发展趋势,而共享不同部门之间不同种类的数据信息有助于发挥物联网更大的价值。

在未来几十年,物联网大数据面临着战略性的时代发展机遇及挑战。物联网握手大数据,不仅延伸更为广泛的应用,更会产生出价值更大的产业链,所以,将物联网发展离不开大数据理念,而大数据的广泛应用进一步加快物联网的前进步伐,在互动发展全过程中,物联网能够促进并带动大数据发展。大数据的采集和感知技术的发展是紧密联系的,提升以传感器技术、RFID 技术、指纹识别技术、坐标定位技术等为基础的感知能力是物联网发展的基石。普及智能手机发展感知技术的高峰期,如广泛的应用地理位置信息、通过对手机呼气直接检测燃烧脂肪量、手机键内嵌指纹传感器、可以监测从空气污染到危险的化学药品的嗅觉传感器、可感知用户当前心情的智能手机技术及通过衣着进行识别人物的技术。还有实时监控口腔活动及饮食状况的牙齿传感器,可追踪眼球读懂情绪的 3D 笔记本摄像头,新型可监控用户心率的纺织材料,引入支付领域的生物测定技术等。世界被数据化的过程就是感知被逐渐捕获的过程,一旦世界被完全数据化了,信息就是世界的本质。

4.云计算提供的技术平台

大数据与云计算的关系密不可分,大数据必须采用分布式计算架构挖掘海量数据,必须依托云计算的分布式数据库、分布式处理、云存储和虚拟化技术。大数据包括大量非结构化和半结构化数据,下载这些数据到关系型数据库用于分析时会消耗大量时间和金钱,因为实时的大型数据集分析需要像MapReduce一样的框架来向许多台电脑分配工作。依靠宽带、物联网的大数据提供了解决办法,具有无数分散决策中心的云计算大系统能够产生接近整体最优的帕累托效应,无数分别思考的决策分中心通过互联网与物联网形成超级决策中心。 互联网中多元动态、并行实时的大数据思维的出现促进重新定义知识的本质特性的认识。大数据时代企业的疆界变得模糊、网民和消费者的界限正在消弭、数据成为核心资产并将深刻影响企业的业务模式,甚至重构其文化和组织。因此大数据改善国家治理模式,影响企业决策、组织和业务流程,改变个人生活方式。如果利用大数据

贴近消费者、深刻理解需求、高效分析信息并作出预判,所有传统的产品公司都只能沦为新型用户平台级公司的附庸。

大数据是继云计算、物联网之后 IT 产业又一次颠覆性的技术变革。云计算主要为数据资产提供了保管、访问的场所和渠道,而数据才是真正有价值的资产。企业内部的经营交信息、互联网世界中的人与人交互信息、物联网世界中的商品物流信息、位置信息等数量远远超越现有企业 IT 架构和基础设施的承载能力,实时性要求也将大大超越现有的计算能力。大数据的核心议题和云计算必然的升级方向是盘活数据资产,使其为国家治理、企业决策乃至个人生活服务。

大数据和云计算这两个词经常被同时提到,很多人误以为大数据和云计算是同时诞生的、具有强绑定关系。其实这两者之间既有关联性,也有区别。云计算指的是一种以互联网方式来提供服务的计算模式,而大数据指的是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和关联形态上的颠覆性变化的总和。大数据处理会利用到云计算领域的很多技术,但大数据并非完全依赖于云计算;反过来,云计算之上也并非只有大数据这一种应用。

大数据出现具有深刻的原因。2009 年至 2012 年电子商务在全球全面发展,电子商务是第一个真正实现将纯互联网经济与传统经济融合,嫁接在一起发展的混合经济模式。正是互联网与传统经济的结合才催生出现在社会高度关注的大数据。大数据链接互联网产业与传统产业,而且大数据结合互联网应用于传统产业领域,范围超过纯互联网经济。在电子商务模式出现以前,传统企业的数据数量缓慢增长。传统企业的数据仓库大多数属于交易型数据,而交易行为处于用户消费决策的最后端,电子商务模式使得用户的搜索、浏览、比较等行为企业可以采集到,这就至少提升了企业的数据规模一个数量级。现在日益流行的移动互联网和物联网又必将使企业数据量提高两三个数量级。从这个角度来看,大数据时代必然出现,大有发展。

5.结论

大数据如同大爆炸一样强烈冲击着整个社会,无处不在的社交网络、移动物联产生难以想象的海量数据,已经成为描述整个宇宙一切信息的工具,普适计算、数据开放带领我们迈进穿越时空障碍的信息时代,云计算、大数据金融造就拥有更多权利的智慧地球,开放流动的大数据时代带来更加公平繁荣的大社会!大数据可以预测未来,提供帮助,但未知是永恒的,自由意志永远存在,

- 910 -

第8篇:大数据读书报告

网络13-1戴崇卓

大数据的概念

大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。

大数据的5V特点(IBM提出)

Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)、Veracity(真实性)。

大数据的意义

现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。阿里巴巴创办人马云来台演讲中就提到,未来的时代将不是IT时代,而是DT的时代,DT就是Data Technology数据科技,显示大数据对于阿里巴巴集团来说举足轻重。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言,如何利用这些大规模数据是赢得竞争的关键。

大数据的结构

大数据就是互联网发展到现今阶段的一种表象或特征而已,没有必要神话它或对它

保持敬畏之心,在以云计算为代表的技术创新大幕的衬托下,这些原本看起来很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。

其次,想要系统的认知大数据,必须要全面而细致的分解它,我着手从三个层面来展开:

第一层面是理论,理论是认知的必经途径,也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

第二层面是技术,技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践,实践是大数据的最终价值体现。在这里分别从互联网的大数据,政府的大数据,企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

大数据的应用

洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。 Google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。 统计学家内特.西尔弗(Nate Silver)利用大数据预测2012美国选举结果。 麻省理工学院利用手机定位数据和交通数据建立城市规划。

梅西百货的实时定价机制。根据需求和库存的情况,该公司基于SAS的系统对多达7300万种货品进行实时调价。 医疗行业早就遇到了海量数据和非结构化数据的挑战,而近年来很多国家都在积极推进医疗信息化发展,这使得很多医疗机构有资金来做大数据分析。

大数据的趋势

趋势一:数据的资源化

何为资源化,是指大数据成为企业和社会关注的重要战略资源,并已成为大家争相抢夺的新焦点。因而,企业必须要提前制定大数据营销战略计划,抢占市场先机。

趋势二:与云计算的深度结合

大数据离不开云处理,云处理为大数据提供了弹性可拓展的基础设备,是产生大数据的平台之一。自2013年开始,大数据技术已开始和云计算技术紧密结合,预计未来两者关系将更为密切。除此之外,物联网、移动互联网等新兴计算形态,也将一齐助力大数据革命,让大数据营销发挥出更大的影响力。

趋势三:科学理论的突破

随着大数据的快速发展,就像计算机和互联网一样,大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术,可能会改变数据世界里的很多算法和基础理论,实现科学技术上的突破。

趋势四:数据科学和数据联盟的成立

未来,数据科学将成为一门专门的学科,被越来越多的人所认知。各大高校将设立专门的数据科学类专业,也会催生一批与之相关的新的就业岗位。与此同时,基于数据这个基础平台,也将建立起跨领域的数据共享平台,之后,数据共享将扩展到企业层面,并且成为未来产业的核心一环。

趋势五:数据泄露泛滥

未来几年数据泄露事件的增长率也许会达到100%,除非数据在其源头就能够得到安全保障。可以说,在未来,每个财富500强企业都会面临数据攻击,无论他们是否已经做好安全防范。而所有企业,无论规模大小,都需要重新审视今天的安全定义。在财富500强企业中,超过50%将会设置首席信息安全官这一职位。企业需要从新的角度来确保自身以及客户数据,所有数据在创建之初便需要获得安全保障,而并非在数据保存的最后一个环节,仅仅加强后者的安全措施已被证明于事无补。

趋势六:数据管理成为核心竞争力 数据管理成为核心竞争力,直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后,企业对于数据管理便有了更清晰的界定,将数据管理作为企业核心竞争力,持续发展,战略性规划与运用数据资产,成为企业数据管理的核心。数据资产管理效率与主营业务收入增长率、销售收入增长率显著正相关;此外,对于具有互联网思维的企业而言,数据资产竞争力所占比重为36.8%,数据资产的管理效果将直接影响企业的财务表现。

趋势七:数据质量是BI(商业智能)成功的关键

采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是,很多数据源会带来大量低质量数据。想要成功,企业需要理解原始数据与数据分析之间的差距,从而消除低质量数据并通过BI获得更佳决策。

趋势八:数据生态系统复合化程度加强

大数据的世界不只是一个单一的、巨大的计算机网络,而是一个由大量活动构件与多元参与者元素所构成的生态系统,终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。而今,这样一套数据生态系统的基本雏形已然形成,接下来的发展将趋向于系统内部角色的细分,也就是市场的细分;系统机制的调整,也就是商业模式的创新;系统结构的调整,也就是竞争环境的调整等等,从而使得数据生态系统复合化程度逐渐增强。

大数据的IT分析工具

大数据概念应用到IT操作工具产生的数据中,大数据可以使IT管理软件供应商解决大广泛的业务决策。IT系统、应用和技术基础设施每天每秒都在产生数据。大数据非结构化或者结构数据都代表了„所有用户的行为、服务级别、安全、风险、欺诈行为等更多操作‟的绝对记录。

大数据分析的产生旨在于IT管理,企业可以将实时数据流分析和历史相关数据相结合,然后大数据分析并发现它们所需的模型。反过来,帮助预测和预防未来运行中断和性能问题。进一步来讲,他们可以利用大数据了解使用模型以及地理趋势,进而加深大数据对重要用户的洞察力。 他们也可以追踪和记录网络行为,大数据轻松地识别业务影响;随着对服务利用的深刻理解加快利润增长;同时跨多系统收集数据发展IT服务目录。

大数据分析的想法,尤其在IT操作方面,大数据对于我们发明并没有什么作用,但是我们一直在其中。Gartner已经关注这个话题很多年了,基本上他们已经强调,如果IT正在引进新鲜灵感,他们将会扔掉大数据老式方法开发一个新的IT操作分析。

第9篇:大数据时代读书报告

这本书里主要介绍的是大数据在现代商业运作上的应用,以及它对现代商业运作的影响。《 大数据时代》这本书的结构框架遵从了学术性书籍的普遍方式。也既,从现象入手,继而通过对现象的解剖提出对这一现象的解释。然后在通过解释在对未来进行预测,并对未来可能出现的问题提出自己看法与对策。

下面来重点介绍《大数据时代》这本书的主要内容。

《大数据时代》开篇就讲了google通过人们在搜索引擎上搜索关键字留下的数据提前成功的预测了2009年美国的h1n1的爆发地与传播方向以及可能的潜在患者的事情。google的预测比政府提前将近一个月,相比之下政府只能够在流感爆发一两个周之后才可以弄到相关的数据。同时google的预测与政府数据的相关性高达97%,这也就意味着google预测数据的置信区间为3%,这个数字远远小于传统统计学上的常规置信区间5%!而这个数字就是大数据时代预测结果的相对准确性与事件的可预测性的最好证明!通过这一事以及其他的案例,维克托提出了在大数据时代“样本=总体”的思想。我们都知道当样本无限趋近于总体的时候,通过计算得到的描述性数据将无限的趋近于事件本身的性质。而之前采取的“样本<总体”的做法很大程度上无法做到更进一步的描述事物,因为之前的时代数据的获取与存储处理本身有很大的难度只导致人们采取抽样的方式来测量事物。而互联网终端与计算机的出现使数据的获取、存储与处理难度大大降低,因而相对准确性更高的“样本=总体”的测算方式将成为大数据时代的主流,同时大数据时代本身也是建立在大批量数据的存储与处理的基础之上的。

接下来,维克多又通过了ibm追求高精确性的电脑翻译计划的失败与google只是将所有出现过的相应的文字语句扫描并储存在词库中,所以无论需要翻译什么,只要有联系google词库就会出现翻译,虽然有的时候的翻译很无厘头,但是大多数时候还是正确的,所以google的电脑翻译的计划的成功,表明大数据时代对准确性的追求并不是特别明显,但是相反大数据时代是建立在大数据的基础住上的,所以大数据时代追求的是全方位覆盖的数字测度而不管其准确性到底有多高,因为大量的数据会湮埋少数有问题的数据所带来的影响。同时大量的数据也会无限的逼近事物的原貌。

之后,维克托又预测了一个在大数据时代催生的重要职业——数据科学家,这是一群数学家、统计学与编程家的综合体,这一群人将能够从获取的数据中得到任何他们想要的结果。换言之,只要数据充足我们的一切外在的与内在的我们不想让他人知道的东西都见会在这一群家伙的面前展现得淋漓尽致。所以为了避免个人隐私在大数据时代被这一群人利用,维克托建议将这一群人分为两部分,一部分使用数据为商业部门服务,而另一群人则负责审查这一些人是否合法的获得与应用数据,是否侵犯了个人隐私。 无论如何,大数据时代将会到来,不管我们接受还是不接受! 而且这两年,大数据这个词突然变得很火,不仅出现在阿里巴巴、谷歌等互联网公司的战略规划中,同时在我国国务院和其他国家的政府报告中多次提及,无疑成为当今互联网世界中的新宠儿。我对大数据一直好奇已久,阅读了很多资料仍不得其解,直到读完《大数据时代》才有了粗略的认识。

我侧重于从第一部分中的这三个观点谈谈自己的看法,这三个观点可以说是哲学上说的世界观,这三个观点可以说是哲学上说的世界观,因为世界观决定方法论,所以这三个观点对传统看法的颠覆,就会导致各种变革的发生。首先是第一个,作者认为在抽样研究时期,由于研究条件的欠缺,只能以少量的数据获取最大的信息,而在大数据时代,我们可以获得海量的数据,抽样自然就失去它的意义了。放弃了随机分析法这种捷径,采用所有的数据。作者用大数据与乔布斯的癌症治疗例子说明了使用全部数据而非样本的意义,列举了日本“相扑”等来证明使用全体数据的重要性。这个观点足以这个观点足以引起统计学乃至社会文明的变革,因为统计抽样和几何学定理、万有引力一样被看做文明得以建立牢固的基石。我对这个观点还是比较认同的,如果真能收集到整体的数据而且分析数据的工具也足够先进,自然是全体数据研究得出的结果更令人信服。但是这个观点也过于绝对,就算是在大数据时代要想收集到全体数据还是不太可能实现的,因为收集全体数据要付出的代价有时会很大。比如说,你要检测食品中致癌物质是否超标,你不可能每一件食品你都检测一遍吧。

第二,要效率不要绝对的精确。作者说,执迷于精确性是信息缺乏时代和模拟时代的产物,只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱,剩下95%的非结构化数据都无法被利用。作者是基于数据不可能百分之百正确的考虑而做出这样的判断的,如果采用小数据一个数据的错误就会导致结果的误差很大,但是如果数据足够多、数据足够杂那得出的结果就越靠近正确答案。大数据时代要求我们重新审视精确性的优劣,甚至还说到大数据不仅让我们不再期待精确性,也让我们无法实现精确性。谷歌翻译的成功很好地证明了这一点,谷歌的翻译系统不像candide那样精确地翻译每一句话,它谷歌翻译之所以优于ibm的

candide系统并不是因为它拥有更好的算法机制,和微软的班科和布里尔一样,谷歌翻译增加了各种各样的数据,并且接受了有错误的数据。 第三个观点,不是因果性,而是相关性,这是这本书中争议最大的一个观点,不仅是读者,就算是本书的译者也在序言中明确地说到他不认同“相关关系比因果关系更重要”的观点。作者觉得相关关系对于预测一些事情已经足够了,不用花大力气去研究他们的因果关系。作者用林登的亚马逊推荐系统的成功,证实了大数据在分析相关性方面的优势以及在销售中获得的成功。沃尔玛也是充分利用并挖掘各类数据信息的代表,从啤酒和尿布的案例,以及作者举的有 关蛋挞和飓风天气的案例,都说明了掌握了相关关系对于他们策略的帮助。一句话,知道是什么就够了,不用知道为什么。很明显作者所举的例子都是属于商业领域的,但是对于其他领域来说这个观点就值得商榷了。比如说,在科学研究领域,你需要知其然也需要知道其所以然,找到事件发生的原理。用文中的一个例子说明,乔布斯测出整个基因图谱来治疗癌症,但是你治疗癌症你必须知道癌症发病的原理,知道哪一段基因导致了这种疾病,不可能只是说收集各种数据,然后利用其相关性来判断哪里出现了问题

作者在书中把大数据说的很厉害,在最后一部分分析大数据带来无数好处的同时带来的不良影响以及如何面对这些影响。用麦克纳马拉的例子来说明对数据过度依赖所带来的后果。也用《少数派的报告》这部电影来说明如果痴迷于数据会导致我们将生活在一个没有独立选择和自由意志的社会,如果一切变为现实,我们将被禁锢在大数据的可能性之中。所以书中提出了几种解决方法,一种是使用数据时征询数据所有个人的知晓和授权。第二个技术途径就是匿名化。毫无疑问,大数据将会给社会管理带来巨大的变革。

大数据给人类社会的方方面面带来了巨大的变革,这是社会发展的潮流,不可逆转,我们只有顺应这种潮流,在思想上和技能上做好准备才能成为时代的弄潮儿。对于一家公司或一个国家,要从根本上改变思维和观念,尽早适应这种潮流。

最后,附上一段来自原著的结语:

大数据并不是一个充斥着算法和机器的冰冷世界,人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案,只是参考答案,帮助是暂时的,而更好的方法和答案还在不久的未来。篇二:《大数据时代》读书报告

读书报告

——读《大数据时代》

坦白地说,这是我第一本看了睡不着的书,我还记得第一次阅读时的兴奋和激动,就像一场头脑风暴。书里的事例是那么的鲜活与生动,完全颠覆我的思维方式,打破了我大脑中解决问题原有的枷锁。这本书让我明白了太多~~~ 它让我明白生活必须要主动。有些人碰到了不公就自认倒霉,能干一点的可能还会去讨个说法,但并没有解决实际问题,这一次可能挽回了那么一点点的损失,但下次遇到了仍是如此,无限循环。当你绞尽脑汁为了节约成本而提前一个月去购买一张你自以为廉价的飞机票,回头却发现,比那些只提前一天购买的人所付的钱还要高出很多时,不知你会怎么想?是被动的接受还是想方法让现实变得更美好? 它让我更好地去理解现实生活的很多情况。现在才理解,为什么网络上有这么多验证码的存在,为什么社交网要用实名制注册,为什么有这么多的“我猜你喜欢”~~~ 虽然我很喜欢那些“黑匣子”,会让我感觉很神奇,但当我真正理解的他的原理时,其实更让我兴奋不已。原来谷歌翻译背后是这样操作的,原来那些每天时不时闯进我们眼球的广告并非偶然,原来预测流感不需要疾控中心而是网络词条,原来电影在开播前就已经知道了收视率和票房~~~ 当然以上这些相当抓人眼球,但这只是大数据的表面,其真正的价值远不仅如此。人类总是以为自己很强大,能控制一切,当然最好还能预测未来。其实大数据真的可以做到,虽然不可能很精确。在我看来这样更好,大致结果可以意料,这就够了,如果发现结果不尽如人意,我们可以提前控制。当然还会有我们意想不到的情况发生,这样会让未来更充满想象,更加充满期待。

它让我懂得不能墨守成规,也不能自以为是。大数据环境是那些微型企业发展的福地,它是行业竞争重新洗牌的动力源泉。在大数据面前,小公司不需要妄自菲薄,大的商业帝国也只有打气十二分的精神才可能让自己立于不败之地。

他让我知道没有做不得,只有想不到。现在的赚取资本的方式已经不再是单靠苦力就可以解决问题的时代了,看见朋友圈里的那些做代购的,都在自我催眠“不要看我们现在是微商~~~微商将来前途无量~~~·”我一直都抱着看看不说话的心态,难免也会哂笑,真的不知道他们和菜场卖菜的有什么本质区别~~~现在是一个依靠知识科技来富国强兵的时代了,真正的优势来源于你提前想到了别人还没去想的,提早完成了别人还没有筹备的计划。

他让我学会世界上没有光杆司令,我们必须学会合作。一个人的能力是有限的,一个人的时间也是有限的,同样公司,国家都是一样的。我们知道谷歌,亚马逊,facebook以及中国的阿里巴巴,百度,新浪这些企业都很强大,可是他们仍然在不断收购合并整合其他一些小的公司,为的是引用他们的科技技术来强大自己的事业版图。

它还教会我在机会面前必须要眼疾手快。在你还在犹豫不决或是自我陶醉的时候,你的对手已经用一个非常低廉的价格得到了他想要翻身的王牌,当你发现时,要么花大血本去换取一张相似的王牌,要与他赤身搏斗。大部分情况下那些聪明的人往往会选择前者,因为他们知道宁可为自己现在的失误埋单也不会让自己靠近万丈深渊。因为若丧失了主动权,那么很有可能导致的结果就是,那个原来看起来微不足道的“小木桩”却扳倒了你这体积庞大的“大象”。

说了这么多大数据给我的启示,其实就是想突出大数据背后的那种神奇的力量。在近代我们似乎与每一样新的科技都失之交臂,但是这一次我们似乎还有机会和时代同步伐,甚至如果我们足够重视,可能还会走在时代的前沿。虽然我们现在谁都没有把握中国到底会利用大数据到什么程度,但已经有好多像周涛一样的有志之士看好中国在利用大数据上的实力,并且付诸了他们的努力。他们一直都坚信以前的落后仅仅是时间上的后知后觉,他们在这一次想

要做到与世界同步,和欧美同步发行此书,在最早一刻就向大家推广大数据这一新名词,向大家灌输着大数据的思维。对此,我也很庆幸,在恰当的时间点与大数据的偶遇。

当然,世界上没有十全十美的东西,再好的发明总是有它的缺陷,大数据也不会例外。舍恩伯格这个对大数据最有权威发言权的人,既然有能力将大数据的好处讲得淋漓尽致,毫无疑问自然也是最清楚大数据危险的人。我很尊敬他的严谨和坦诚,他在细致入微地解释大数据革命性优势的同时,毫无修饰地点明了大数据的劣根性。他很准确地说明了如果我们滥用或误用数据,我们将会受到毁灭性的打击,后果将会如何不堪设想,并且这篇幅一点都不敷衍。作者非常专业,他并没有像某些专家一样,一味地鼓吹自己的“一家之言”。而是在我们头脑发热,一哄而上之前,就给我们非常而且深刻的警醒。这也正是大数据思维的其中之一:馈前控制。

读完这本书以后,我有的确一点蠢蠢欲动,因为它让我觉得大数据并没有像想象的那么遥不可及。书中说,会好好利用大数据的有三种人:第一种是拥有庞大数据库的政府或者商业机构,他们之前只是不知道那些尘封已久的数据还可以创造巨大的价值。第二种是利用技术手段,让数据发挥它独特功能,从而帮他们解决实际问题的数据分析学家,统计师,精算师和其他一些有关于处理数据的相关人员,他们非常了解数据的状态,结构和特征。的确这两类人实力雄厚,前者拥有数据本身,而后者拥有技术。但他们有着同样的短板,那就是他们没有更为创新,灵动的视野,他们很难或者说没有更多的时间去发现那些数据的真正力量。因为他们有太多的思维定式,但种种利用大数据的成功事例表明,每次数据创造的奇迹总在那么的偶然和不经意之间。而这正是我们第三种人的长处,我们没有思维定式,更有闲暇的时间来感受生活,激发灵感。篇三:大数据时代读书笔记

大数据时代——读书笔记

一、引论

1. 大数据时代的三个转变: 1. 可以分析更多的数据,处理和某个现象相关的所有数据,而不是随机采样 2. 不热衷于精确度

3. 不热衷与寻找因果关系 2. 习惯:用来决策的信息必须是少量而精确的。实际:数据量变大,数据处理速度变快,

数据不在精确

3. 危险:不是隐私的泄露而是未来行动的预判

二、大数据时代的思维变革 1. 原因:没有意识到处理大规模数据的能力,假设信息匮乏,发展一些使用少量信息的技

术(随机采样)

1. 1086年 末日审判书 英国对人的记载 2. 约翰·格朗特:统计学,采样分析精确性随着采样随机性上升而大幅上升,与样本数

量关系不大

3. 1890年,穿孔卡片制表机,人口普查 4. 随机采样有固有的缺陷 1. 采样过程中存在偏差 2. 采样不适合考察子类别

3. 只能得出实现设计好的问题的结果 4. 忽视了细节考察

2. 全数据模式:样本=总体 1. 通过异常量判断信用卡诈骗 2. 大数据分析:不用随机抽样,而是采用所有数据。不是绝对意义而是相对意义。

(xroom信用卡诈骗,日本相扑比赛) 3. 多样性的价值(社区外联系很多》社区内联系很多) 3. 混杂性而非精确性 1. 葡萄树温度测量:数据变多,虽然可能有错误数据,但总体而言会更加精确。 2. 包容错误有更大好处

3. word语法检查:语料库》算法发展 4. google翻译:让计算机自己估算对应关系,寻找成千上万对译

结论:大数据的简单算法好过小数据的复杂算法 5. 大数据让我们不执著于也无法执着于精确 6. mit的通货紧缩软件:即时的大数据 7. 标签:不精确

8. 想要获得大规模数据的好处,混乱是一种标准途经 9. 新的数据库:大部分数据是非结构化的,无法被利用 10. hadoop:与mapreduce系统相对的开源式分布系统,输出结果不精确,但是非常快 结论:相比于依赖小数据和精确性的时代,大数据因为更强调数据的完整性和混杂性,帮助我们进一步接近事情的真相。“部分”和”确切“的吸引力是可以理解的。但是当我们的视野局限在我们可以分析和确定的数据上时,我们对世界的整体影响就会产生偏差和错误。不仅失去了尽力收集一切数据和活力,也失去了从不同角度观察时间的权利。

三、不是因果是相关 1. 知道是什么就够了,不需要知道为什么。 1. 亚马逊放弃书评组,使用大数据预测人们的未来购书需求 2. 2. 在小数据世界,相关关系有用,但是大数据背景,相关关系大放异彩。通过找关联 物,相关关系可以帮助我们捕捉现在和预测未来 1. a和b经常一起发生,那么a发生时可以预测b发生 2. 例子:沃尔玛把飓风用具和蛋挞放在一起 3. 过时的寻找关联物的方法 a) 原因:数据少且收集花时间 b) 在建立,应用假想和选择关联物时容易犯错误 c) 结论:我们不需要人工选择关联物 3. 大数据的相关分析法更准确,更快 1. 例子:fico我们知道你明天会做什么 2. 伊百丽:根据个人信用卡交易记录预测个人收入,防止逃税 3. aviva:根据生活方式数据预测疾病 4. 美国零售商target:通过购买习惯预测是否怀孕 4. 通过找出新种类数据的相互联系解决日常需要:找到关联物并监控,我们可以预知未来

1. 例子:ups与汽车修理预测 2. 新生儿健康监测:肉眼看不到,但是计算机能看到 5. 当收集分析和储存数据的成本较高时,应当适当丢弃一些数据 6. 数据的非线性关系 1. 幸福的非线性关系 7. 快速思维模式使人们偏向于用因果关系看待周围的一切,因此经常对世界产生错误认识。这也使大脑为了避免辛苦思考而产生的捷径。大数据会经常被用来证明我们习惯的思维方式是错误的。 8. 证明因果关系的实验开销大,难于操作;相关关系很有用,不仅是因为能为我们提供新的视角,而且提供的视角都很清晰。一旦我们考虑因果关系,这些视角会被蒙蔽。 9. 大数据并非是理论消亡的时代。

四、一切皆可量化 1. 莫里的信息交换计划:总结所有船只的航海日志已获得好的航线,为第一根大西洋电缆奠定基础

2. 坐姿研究与汽车防盗系统 3. 数据化

1. 把现象转变成可指标分析的量化形式的过程 2. 计量和记录促成了数据: 1. 阿拉伯数字 2. 计数板 3. 复式记账法

3. 数字化与数据化的区别

1. 例子:google的数字图书馆:开始使用扫描-》数字化,进而光学识别-》数

据化。google借此改进自己的翻译 2. 文化组学:定量分析揭示人类行为 4. 文字变成数据:人可以阅读,机器可以分析 5. 方位变成数据:需要一套标准的标记系统和收集,记录数据的工具。 1. 始于古希腊

2. 1884年,国际子午线会议 3. 1978年,全球定位系统 4. 英国汽车保险

5. ups的最佳行车路线:减少左转 6. 收集用户地理位置数据,以便进行忠诚度计划。或者可以预测交通情况 6. 现实挖掘

1. 处理大量手机数据,发现并预测人类的行为。 2. 例子:预测流感隔离区域 3. 例子:通过非洲预付费用户的位置信息和他们账户的资金,发现贫民窟是

经济繁荣的跳板 7. 沟通变成数据

1. facebook:社交关系数据化

号。新推特频率可以预测电影票房

可能性呈现正相关 8. 万物数据化

1. 触觉地板:适时开关灯,确定身份,某人摔倒之后是否站起来 2. 人体传感器:监控健康状态 4. 结论:世界的本质是信息和数据,大数据提供新视角。

五、大数据的潜在价值 1. 例子:captcha(验证码,全自动区分人类和电脑的图灵测试)与数据再利用。作者使用了新的验证码recaptcha,人们从计算机光学字符识别程序无法识别的文本扫面项目中读入单词并输出,知道他们都输出正确后才确定(用来破译数字化文本中不清楚的单词) 2. 大数据时代,所有的数据都是有价值的。现在,我们能够以较低成本获取并存储数据。数据的真实价值就像漂浮在海洋中的冰山,绝大部分隐藏在表面之下。 3. 不同于物质性的东西,数据的价值不会随它的使用而减少,而且可不断被处理。意味着数据的最终价值远远大于它的最初价值。在基本用途完成后,数据的价值仍然存在,数据的价值是其所有可能用途的总和。 4. 例子:ibm与电力汽车动力系统的优化预测:大数据预测模型,甚至考虑天气预报 5. 数据再利用:

1. 搜索关键词,搜索结果预测夏天流行色 2. google保存语音翻译记录,开发自己的语音识别技术 3. 移动运营商长期使用大数据微调网络性能 4. 有些公司可能会收集到大量的数据,但是他们并不急需使用,也不擅长使用数据,但是别的公司可以借此探寻数据的潜在价值 8. 重组数据 1. 例子:丹麦癌症协会与手机致癌调查:使用所有的手机用户信息和所有的中枢神经系统肿瘤信息。

随着大数据的出现,数据的总和比部分更有价值,当我们将多个数据集的总和重组在一起,重组总和本身的价值也比单个总和更大 9. 可拓展数据 1. google街景和gps采集,不仅将其用于基本用途,而且进行了大量的二次利用。例如,对google自动驾驶汽车的运作 10.数据的折旧值

1. 随着时间的推移,大多数数据都会失去一部分基础用途,不应用此破坏新数据 2. 挑战:如何得知某些数据不再有价值 3. 并非所有数据都会贬值。例子:google希望得到每年的同比数据

结论:组织机构应收集尽可能多的使用数据并保存尽可能长的时间。同时也应该与第三方分享数据

11. 数据废气:用户在线交互的副产品,包括浏览哪些页面,停留多久,输入信息等 1. 数据再利用的方式很隐蔽 2. 例子:google的拼写检查:搜集每天处理的查询中数据搜索框的错误拼写 3. 例子:google的过滤噪音技术:如果用户点击搜索结果靠后的链接,说明这个结果更加有相关性,google会把这个页面的排名相应提升。 4. 当用户指出了各种自动化程序的错误,实际上是训练了系统 5. 例子:巴诺与数据快照,电子书阅读器捕捉人们阅读书籍的习惯 6. 例子:coursera通过捕捉学生犯的错误来提示未来犯错误者

结论:数据废气可以成为公司的巨大竞争优势,和对手的强大进入堡垒 12. 开放数据 1. 最大的数据收集者:政府,可以强迫人们提供信息,但是信息利用效率低下。最好允许私人运营部门和社会大众访问

2. 例子:flyontime网站,通过开放的数据分析航班延误可能性。 3. 给数据估值:从数据持有人在价值提取上所采取的不同策略入手,将数据授权给第三方

三、角色定位:数据,技术与思维 2. 思维转变的重要性 3. 三种大数据公司

1. 基于数据本身的公司:twitter 大数据最值钱的是他本身,所以应该优先考虑数据拥有者

例子:机票预订系统ita不直接使用数据:担心暴露利润

例子:mastercard通过大数据预测客户的消费习惯 2. 基于技能的公司:咨询公司,技术供应商或者分析公司:teradata 例子:埃森哲公司利用大数据检测汽车零件并节省费用

例子:微软分析公司利用大数据降低病人的再入院率 3. 基于思维的公司:创新思维

例子:flightcaster飞机晚点预测

例子:prismatic分析新闻并排序 4. 大数据先驱者一般有跨学科的知识 5. 例子:google和amazon三者兼备 6. 全新的数据中间商:从各个地方搜集数据,提取有用的信息进行利用,并不威胁数据拥有者的利益

1. 社会需要定向广告

例子:inrix:分析各种汽车制造者的数据和用户的数据,提供卫星导航服务

汽车制造商们本身数据量不够,自身也没有技术利用大数据,也并不介意数据会被中间商利用。同时可以提供失业率等相关数据

例子:quantcast:收集用户访问信息来测评用户年龄等,之后发定向广告

例子:hcci收集医疗保单,分析美国医疗费用上涨是否合理

结论:

1. 数据价值的转移:从技术到数据本身和大数据思维 2. 传统商业模式颠覆:交易数据而不是交易技术 3. 传统专家的光芒会被统计和数据学家取代,因为后者只关心数据 1. 例子:谷歌翻译团队的工程师都不会说出翻译的语言 2. 真正的专家不会消亡,但是主导地位会改变 3. 专业技能只适用于小数据时代,因为那是需要依靠直觉和经验指导,但是

遭遇海量数据时,可以通过数据挖掘得到更多 4. 数据和统计学知识将成为现代工厂的基础,人类的价值体现在交流上,以进行广泛而深刻的传播

1. 例子:交互式游戏,会根据用户来改良,以数据为基础运作 5. 大数据决定企业核心竞争力 1. 数据规模决定价值

2. 例子:劳斯莱斯通过大数据监测引擎,预测可能出问题的引擎 3. 例子:苹果进军手机 4. 大数据为小公司带来了机遇:能享受非固有资产规模的好处,低成本传播创新结果,只需要创新思维

5. 大数据拥有者会想办法增加数据存储量 6. 消费者成为数据拥有者并与中间商交易 7. 大数据对中等规模的公司帮助不大:既没有灵活性也没有规模效应 6.大数据撼动国家竞争力:西方世界优势减少

四、大数据时代的管理

1. 大数据会带来很多危险,因为其核心思想是用规模剧增来改变现状。 2. 滥用大数据的力量会伤害人身安全 3. 大数据的二次利用颠覆了隐私保护法:无法征得个人同意 4. 如果所有人的信息在数据库里,有意识地避免就是此地无银三百两 5. 匿名化:交叉检验会检验出来 6. 大数据预测:罪责判定基于对个人未来行为的预测。大数据可能会否定人的自由意志 7. 数据有其局限性,数据的质量可能会很差,有误导性。 8. 卓越的才华并不依赖数据:apple乔布斯的才能

五、掌握大数据 1. 个人隐私保护:从个人许可到让数据使用者承担责任,因为将责任从民众转移到数据使用者很有意义因为数据使用者比其他人更明白他们想怎么样使用数据,也因为他们是最大利益获得者:监管机制可以决定不同种类的个人数据必须删除的时间 2. 信息模糊处理

3. 个人应该为他们的行动而非倾向负责 4. 打破大数据的黑盒子:大数据算法师:评估数据源,分析数据工具,解读运算结果 1. 外部算法师:审计大数据的准确程度和有效性篇四:读书笔记-《大数据时代》

读《大数据时代》 初次见到维克多·迈尔-舍恩伯格教授是在《对话》栏目中,当时谈及当今各种科技信息的变化,然后在主持人的各种提问下,我逐渐了解到“大数据”这个名词,他也是现在对于大数据最有发言权的预言家。一位睿智的人总是能够给人留下很深的印象。然后在中央财经频道的特别节目《指尖上的商机》系列节目中,也谈及到大数据对于当今时代的影响和蕴藏的巨大商机。

读一本好书就像与智者交谈。今天我翻读《大数据时代》,细细品读这位智者给我们的礼物。我们首先应该明白一个概念“大数据”,他不是单单的说数据很大,或者数据很多的意思,真正的意思是:不用随机分析法这样的捷径,而采用所有数据的方法。它告诉我们一种超越现在的对于数据的一种分析方法,这个方法建立在尽可能多的数据上。下面让我们合上此书,让他从我们的思想深处开始发声吧。

首先,大数据时代是建立的基础就是有一个很庞大的数据库,我们分析的对象不是抽取样本,而是用全部的数据作为样本,“样本=总体”。这样我们能够把要调查的对象精确到每一个个体,我们能够对每一个个体提供个性化分析和服务。我们会摆脱抽样样本的误差和失误,同样我们能够细化我们研究的对象和分析的数据。我们分析的适合一个大的整体,也适合每一个个体。这是大数据分析的基础。

第二,大数据是由很多不同的纷繁复杂的数据汇总在一起的,我们必须接受他们的复杂性和不精确性,我们的研究方向除了寻找因果关系之外,增加了一种相关关系的研究。我们通过数据之间的关系,分析得到我们想要得到的结论或者是模型。在这里我们应该重点看一下,相关关系是我们打开的另一扇窗,而不能关闭因果关系的现在开着的窗户。我们开始重视相关关系,但是不能放弃对于因果关系的研究。作者也在文中阐释我们的生活还是需要因果关系的,甚至我们需要大数据算法师,我们需要了解“黑匣子”中的神秘。这是大数据时代我们应该正确认识的。

第三,大数据的原始来源是用不同的方法收集,为了有尽可能多的数据,我们现在有了电脑,搜索引擎,智能手机,可穿戴设备,社交平台,还有无数的传感器等等,我们可以把文字,位置,动作,喜好等所有的世界进行量化,他都可以用数字表示,这就是我们所有的纷繁复杂的原始数据,他们是一座钻石矿,由于无数种的相关组合可以不断地挖掘出我们所需要的信息。这是我们不断利用大数据的基础。我们需要不断更新的数据。

第四,未来在过去的尘埃中。我们分析大数据最大的作用就是预测未来,知道下一步你会做什么,知道下一个最危险的事物或人。我们用什么方法预测未来。这是一个商业,政府,甚至世界的时代,我们分析的方法就是动用自己敏锐

的思维发现相关性,然后动用我们的数据分析工具对其进行相关性分析,最后我们用统计学研究出一个模型。通过模型我们能够预测未来。大数据分析的关键就在于数据,思维和技术。现在我们有快速分析的工具,正在不断收集数据,那么最重要的就是人类的思维,一个能够分析相关性,能够创新使用数据的思维。在大数据时代我们需要把统计学,软件工程师和创新思维结合在一起的人才。

第五,我们能够知道每一个人的位置,喜好,关注什么,即将干什么等等,对于每个人来说都是一个很可怕的事情,如果我们赤裸裸的暴露在阳光之下,或者我们正在暴露中,我们的隐私应该受到保护,这也是大数据时代一个亟待解决的问题,尽管我们匿名分析信息,到最后我们还是能够精确到个人,我们需要有人负责,这是安全问题,自由和科技或商业的发展产生矛盾,我们应该何去何从?我们担忧的,相信会有人来解决。这涉及到我们每个人的利益。

来暴露我们需要的产品;我们用百度、google来暴露我们所关注的事情。我想有好多双眼睛正在盯着我们,只是我们还不知道。这是一件可怕的事情。

上一篇:统计学实验报告下一篇:爱自己就要这样做