转载

“大数据”是“大趋势”吗:基于关键词共现方法的反事实分析

完全是开脑洞的一个作品。当时正值清某大学和青某市要联合建立大数据研究中心,我作为有理工科背景的社科学术农民工被拉进来贡献一份力量。窃以为“公公知识分子”那么多,也不缺我一个,就大胆地站在了批判的立场上,试着用“反事实”的方法来扒开大数据这个皇帝的新衣,看看里面都有啥。其实非常惭愧的是,这里所应用的“反事实”方法并不是经济学意义上的“反事实”,倒是在复杂性网络中(包括后来有朋友告诉我在电力系统网络的稳健性求解中)常用的一种方法。没想到《科学学与科学技术管理》杂志给放到了2015年的首篇,再次在博客中贴出,供各位看官批判。

摘要:如何身处在科学的洪流当中,判断其范式的形成和发展的状况是库恩给我们留下的历史性难题。时下“大数据”概念在政策界和学术界的火热,使得这一需求更加迫切。突破了此前科学计量学静态拍照式的关键词共现分析方法,本文通过引入反事实思想实验发现,“大数据”的国内外发表物关键词共现网络表现出了较低的网络稳定性。因此暂不能判断“大数据”是引领新范式的“大趋势”,甚至有必要在“学术看门人”和打造硬核方面进一步做文章。相比之下,同样产生于特定历史时期的著作《小的是美好的》却可以通过反事实的稳健性检验,反过来验证了“大数据”目前“虚热”的判断。

关键词:大数据;共现;反事实;思想实验

1. 问题的提出

库恩(ThomasKuhn)曾在《科学革命的结构》中历史性地指出,科学的演进并不如教科书中的描述那样线性。相反,类似于生物界的一种“间断-平衡”是范式变换的主要特征[1]。然而问题的症结却在于,我们始终无法先验地得知范式的革命何时才会发生——特别是身处在科学技术急速发展的“前范式”阶段,一方面我们对科学技术的认识也必然受到了社会语境和社会结构的约束,另一方面又必须从海量和生命短暂的信息流里寻找出发现、解读和批判的可能性[2]。于是在很多情况下,一些学术概念的大量涌现并不是缘于学术界自发的认识上的共识,而更多是同构(isomorphy)[①]作用下的某种“花车效应”(bandwagon effect)。如果又以此错误地分配了学术资源,势必会对国家甚至整个社会造成巨大的损失。事实上近年来迅速兴起的“大数据”概念,就值得我们深思。

就学术界而言,《自然》(Nature)杂志早在2008年就推出了大数据专刊。《科学》(Science)杂志也在2011年2月推出了专刊。相比之下大数据组作为一个典型的外来概念,在我国兴起的时间较短。如从CNKI数据库的情况来看,2012年才开始有大量以“大数据”为主题或关键词的文章出现。2012年1月,《自然物理杂志》(Nature Physics)上出版“复杂性”专刊,特别指出大数据为科学研究,特别是复杂性科学的研究提供了史无前例的机遇。但在政策界,处于我国信息社会建设的特别考量,大数据的相关项目却一直紧跟国际前沿。如继2012年3月奥巴马政府发布《大数据研究和发展倡议》(Big Data Research and Development Initiative)[②]后,我国也依托973项目、863项目和国家自然科学基金重点项目等平台加强了对“大数据”的支持力度[③]。甚至有地方政府直接将大数据产业列为重点发展的产业[④]。那么,“大数据”究竟是有如图灵奖得主、数据库技术奠基人格雷(Jim Gray)所说的那样,是代表着一种“大趋势”的科学研究的“第四范式”[⑤],还是必然在历史的洪流中只会昙花一下的“小波澜”呢?

2. 一般的“大数据”关键词共现方法

虽然库恩在范式这个词的使用上也经常被人诟病过于随意,但范式的核心内容是“共同体共同的约定和共同的重要约定”却是一定意义上的学界共识。因此从理论上讲,只要我们能够找到某一学科/领域“共同”的研究内容,就可能厘清其范式发展的脉络[3]。

在学术论文的全部内容当中,关键词是反映期刊论文研究内容的,由论文作者自行选择的自然语言[4](因此也更好地吻合了范式所强调的“共同体”概念)。词与词之间可进行各种组配,如种属、限定、交叉等以表达学科内容各方面的复杂概念[5]。关键词作为文献核心内容的集中概括,能够较好地反映某一研究领域的主题分布与特点——如一般而言,在学科萌芽阶段,新的关键词不断涌现;但随着学科的逐渐发展,核心关键词的数量会逐渐趋于稳定并成为该领域的核心。从这个意义上讲,我们就可以通过关键词的稳定性情况来判定一个学科/领域是处于鱼龙混杂的“前范式”还是可以“解难题”的“后革命”状态。

在文献计量学中,关键词的共词方法常用来确定该文献集所代表学科中各主题之间的关系[6]。共词分析方法广义上属于内容分析方法的一种。其原理主要是对一组词两两统计它们在同一篇文献中出现的次数,对这些词进行聚类分析,从而达到挖掘隐含信息的目的,进而反映这些词所代表的学科和主题的结构变化[7, 8]。共词分析方法最早在20世纪70年代中后期由法国文献计量学家提出[6]。早在上世纪90年代末,我国学者就也已经关注到了共词分析方法对于研究文献主体和科学结构的重要作用[9, 10]。如医学领域也较早地利用了聚类方法,探究各类高频主题词之间的内在关系,并开发出BICOMB(书目共现分析系统)等相应的分析软件[11-13]。注意到关键词的共现如同作者合作、文献共被引等情况一样,某一主题领域内的关键词共现,实际上会形成一个虚拟的关键词网络。因而从社会网络的视角看,关键词是网络中的一个个节点,而它们的共现则体现为节点之间有直接的联系。在虚拟的关键词网络中,由于是否共现和共现频次的不同,每个节点在网络中具有不同的地位,承担不同的角色。在一定的时间范围内,有些关键词反映的是该主题的研究热点;有些词表示的内容处于不成熟的状态;有些词之间的联系非常紧密,有些词会在网络中显得比较孤立。通过对关键词网络的分析,可以发现隐藏在真实关系网背后的关系网络,它对于了解一个研究主题的成熟度、知识结构、研究的规模等状况具有非常重要的意义[14]。

考虑到学术期刊是科技论文的重要载体,具有创新性、时效性和互动性等特点。CNKI数据库涵盖范围和引文数据较全面,包含人文、社会和自然科学的论文及引文,已成为中文文献计量研究的重要基础数据源之一。作为中国最大的发表和引文数据库,利用CNKI进行科学文献的相关分析已经成为学界的一个共识[15-17]。因此在共词分析中,本文选择了CNKI数据库搜集了2013年12月31日前以“大数据”或“BigData”为关键词的全部期刊文章[⑥]。除虫并利用SATI(文献题录信息统计分析工具)对该领域内出现频次前100的关键词进行元数据抽取,进而在UCINET平台上实现共现分析,取共现次数≥2(即认为至少高频关键词至少两次同时出现在一篇文章当中才认为有“共识”)为二值化条件,得到知识图谱如下(可视化工具NetDraw,节点大小代表度数中心度,下同):

“大数据”是“大趋势”吗:基于关键词共现方法的反事实分析

图1CNKI期刊数据库中“大数据”相关的知识图谱

根据度数中心度的定义,在一个社会网络中,如果一个行为者与其他行为者存在越多的直接联系,那么该行为者就居于中心地位。不难发现,“大数据”概念本身处于决定的中心地位。整个网络也呈现出“星型网络”的特征。从表面上看,已有的研究围绕着“大数据”的核心概念实现了研究领域本身的成长。

3. 反事实社会网络分析的思想实验

“反事实”思维,即对过去替代性选择的想象是人类日常生活中非常常见的一种思维方式。它帮助人们从经验中学习,也影响着从创造性到概率判断的多样化认知行为[18, 19]。然而这样一种理念真正地应用于学术界还是相对晚近的事情。由于历史的本意就是确定性发生的事件,因而不管是在学术界还是生活世界当中,人们都“从来不去关心什么事情必然发生或什么事情原本可能会发生,而只是关心那些有事实证据证明的确发生了的事情”[20]。在“事实”优位的情况下,实验和统计等研究方法通常假定总体中有两组或多组群体,能够在两期或多期观测到其中的个体数据,并且在某些时期某些个体受到了一项或几项“干预”(treatment)。在分析中,通常把接受干预的样本称为实验组,把未受干预的样本称为控制组。要估计干预所产生的效应,一个简单的逻辑就是对两个组间的个体进行比较。研究者们也相信,只要实验组和控制组是随机选择的,对干预效应的估计就是“科学”的。

20世纪初,量子力学的发展突破了人类对于确定性的认识。比如在著名的“薛定谔的猫”的桥段中,没有揭开黑布之前的猫就既可能是死的又可能是活的——换言之,“事实”和“反事实”是在一定概率下共存的。于是,开始有学者思考“如果(不是这样)”(what if)的又具有怎样的意义。在历史学方面,罗伯特·福格尔(RobertW. Fogel)于1964年发表了著作《铁路与美国的经济增长:计量经济史学论文集》。在书中,他运用“反事实”的方法假定“如果在1890年美国没有铁路,美国经济会如何发展?”。根据他的计算,在1890年,如果美国全国的马车和帆船运输完全让位于铁路,所能增加的国民收入只相当于当时美国年国民产值的4%-5%,对美国此后的经济增长,只有很小影响[21]。他也因这项开拓性的工作,开创了新经济史学派,并获得了1993年的诺贝尔经济学奖。从本质上讲,“反事实”并不是一个无聊的思维游戏。而是在承认复线的、多样化之历史可能性的方式,通过“平行世界”般的合理想象去探究特定的干预对历史本身所造成的影响[⑦]。事实上,实验、统计等相关学科也逐渐意识到了“反事实”对于因果推断的重要性——因为实验组和控制组的随机分配在现实中是很难达到的,从而内生性偏误和异质性偏误的问题始终无法避免[⑧]。毕竟对效应本身的衡量,应该聚焦在被试或样本在受到干预之后和如果他们没有受到干预的情况差值[22, 23]。综上我们可以认为,“反事实”分析能够使得我们借助逻辑的方式考察某一因素在复杂社会系统中的作用[24, 25]——对此甚至亦有学者相信,因果理论是以反事实推理为基础的,各种归因理论都可以看成是反事实思维的一个特例,反事实思维可以作为归因推理理论的一种框架[26]。

“大数据”是“大趋势”吗:基于关键词共现方法的反事实分析

图2“大数据”关键词共现网络的反事实思想实验(N-1)

注:左图为CNKI期刊数据库,右图为WebofScience数据库。由于WebofScience数据库不提供关键词的直接检索,故采用先用主题搜索大数据再进一步提纯的方式。并去掉联结数(即度数中心度)为0的节点,其他条件均不变。下同。

应用反事实的思想,我们可以尝试将CNKI期刊数据库中“大数据”这一关键词去掉,再取共现次数≥2为二值化条件得到新的知识图谱(如图2左所示)[⑨]。可以看出,“大数据”网络的规模和复杂程度急剧减弱(印证了“大数据”本身处于星型网络结构洞的位置),其次中心是“云计算”,又进而分为理论和应用两个部分。在理论板块中,Hadoop是目前最为流行的大数据处理平台和事实标准(defactostandard)[⑩]。学界自身也一般将Hadoop改进并将其应用于各种场景看作是新的研究热点——如主要的研究成果集中在对Hadoop平台性能的改进、高效的查询处理、索引构建和使用、在Hadoop之上构建数据仓库、Hadoop和数据库系统的连接、数据挖掘、推荐系统等。应用方面主要表现为通过数据挖掘、分析和处理,实现对政府部门(电子政务)以及图书馆等单位的知识和信息服务,亦和智慧城市、物联网等时代概念联系起来(背后共同的推手是工业和信息化部)。若以同样的方法去对中国人发表在Web of Science平台上的“大数据”相关文章进行反事实思想试验,则会发现网络同样崩裂为一些相对较小的子网络。但与CNKI期刊数据库的情况不同,Web of Science“大数据”网络在去掉“大数据”这个结构洞后,依然表现出了较强的理论性而非应用性[11]。

仍需指出的是,已经有研究发现在恐怖基地的秘密网络中,有肯能会因为一关键人物被抓或被杀而陷入瘫痪状态[27]。也有学者从理论上给出证明,可以通过干扰或删除网络中部分节点的方式识别关键行动者[28, 29]。考虑到人际的社会网络和学术“共同体”关键词的共现网络可能有本质性的差别,如果我们能证明进入到“常规科学”阶段的网络对“反事实”扰动具有更强的稳健性,就可以再一定程度上说明“大数据”尚没有超越前范式阶段的混乱局面[30]。为了便于控制,这里选取了同样时代性较强但学术性偏弱的英国经济学家舒马赫(E. F. Schumacher)所撰写的《小的是美好的》(SmallisBeautiful)一书作为对照。《小的是美好的》撰写于20世纪70年代[12],当时正值第一次石油危机,学术界和政策界纷纷开始对无限增长的进步幻觉进行了积极反思。在著作中,舒马赫提出了“中间技术”的概念作为应对于“大生产消费”的解决方案。所谓“中间技术”,是指耗用不高,不过度的耗费资源和环境的技术。舒马赫强调,技术并非越进步越好,对技术进步必须作一番价值判断;而且绝不能盲信技术,认为它无所不能。比如对于核能技术,舒马赫认为,“实际上,我们是明知故犯地在积累有毒物质,寄万一的希望于将来有可能清除它们。我们正在把一个我们不知如何处理的问题责成后代解决。……许多有责任感的人会想得更远,他们认为既然还不知道如何控制废料,那么就不应再建反应堆。”相反他认为:发展不由物质而始,它始于人以及人的教育、组织和纪律。少了这三样,所有资源都仍然只是潜在的、有待开发的、中间技术的发展[31]。然而正如后来许多学者所批评的那样,舒马赫(起码从这本书的表现来看)并不是一个严格的学院派,其核心概念“中间技术”在内涵与外延的使用上均比较模糊——事实上《小的是美好的》更多被定义为畅销书。但无论如何,《小的是美好的》这本被认为学术性并不是非常强的著作,还是在学术共同体中有着一批持续的追随者——如后人起码认同其所发现的问题是重要的,中间技术等概念也还是常用来被分析一系列相关问题。

需要指出的是,一方面由于“小的是美好的”(或简称“小即美”)本身并不构成一个关键词或者主题,因此这里选取了CNKI期刊数据库中引用该核心文献的(中英文)文献所建构起来网络作为分析对象,和作为样本的“大数据”直接使用关键词检索得到共现网络的方式有所不同。另一方面,由于该网络没有从一开始就呈现出单中心的星型模式,因而也引入了比“大数据”网络更加严苛的反事实条件——即去掉“中间技术”和“舒马赫”两个核心关键词(N-2)来考察网络的结构稳定性。结果显示,去掉结构洞后的关键词共现网络进行可视化(如图3所示),发现网络并未发生塌陷。也就是说即便不存在核心概念和作者的整合作用,网络依然可以围绕企业规模、经济发展和生态文明等次核心稳固地建构起来。

“大数据”是“大趋势”吗:基于关键词共现方法的反事实分析

图3“小即美”关键词共现网络的反事实思想实验(N-2)

且为了综合比较几个反事实思想实验的效果,这里还对几个网络的节点数量、网络密度、联结数等网络特征值和度数、邻近、中间几个中心度的平均值和标准差进行了比较[13](如表1所示)。可以发现,“大数据”关键词网络在去掉“大数据”这个关键词以后,网络的节点和联结数量急剧减少,网络密度不降反升——甚至在中国作者在WebofScience数据库中发表的“大数据”的共现网络中,去掉结构洞后网络密度有着两个数量级的提升。这也在一定程度上说明,“大数据”和其他关键词之间的学术联系并不是非常紧密。CNKI期刊数据库“大数据”关键词共现网络在去掉“大数据”这个主要结构洞后,由于依然存在着“云计算”等次级结构洞,同时又有着大量应用型概念的耦合出现,一定程度地拉低了网络密度。这一情况同样也可以从中心度的数据中得出:比如WebofScience数据库原始网络的度数中心度和中间中心度的标准差都相对较小,说明更加偏向“多中心”结构。去掉结构洞后,其邻近中心度的平均值更是有大幅度上升,说明网络更加不容易受到其他核心概念的控制。总体上讲在去掉结构洞后,CNKI期刊数据库“小即美”网络节点和联结数量并没有太大程度的缩减。最为关键的是,网络密度也随着网络规模的缩小而降低,几个中心度情况也保持着相对稳定的水平——说明即便在去掉两个主要关键词的严苛条件下,网络结构依然可以保持相对稳定。

表1几个反事实思想实验的综合比较

网络节点网络密度联结数度数中心度邻近中心度中间中心度

平均值标准差平均值标准差平均值标准差

CNKI大数据1000.027268.0002.7079.22710.1120.1070.8358.150

CNKI大数据’360.06886.0006.8258.4196.8052.4562.1767.150

WoS大数据1000.005352.00000.5251.7051.1420.0780.0260.225

WoS大数据’140.120922.000012.0885.6038.4560.6620.3660.897

CNKI小即美1000.0301298.00003.0103.4612.5060.4901.0022.090

CNKI小即美’680.0261248.00002.6092.9352.3720.4531.0402.246

注:1. 标“'”的为“反事实”网络,即为去掉部分节点后由其他高频关键词所构成的网络:对于“大数据”网络,去掉的节点为“大数据”及其联结;对于“小即美”(小的是美好的)网络,去掉的节点为“中间技术”和“舒马赫”及其联结。2. 所有矩阵截断条件均为>=2进行二值化,网络节点数量为去除单独节点(即度数中心度为0)后的节点数量。

4. 反思“大数据”的幻象与乱象

通过上面的分析,本文的结论似乎是明显的。第一,尚没有证据清晰地表明是昭示着“第四范式”的“大趋势”。对此,我国计算领域的权威李国杰院士也曾指出[14], “表面上看‘大数据热’受到美国计划的影响,但不完全是这样。过去美国副总统戈尔呼吁的数字地球,中国也在跟进,但经济上并未成气候;有些是美国不太热,中国反而进行得有声有色,比如物联网,这可能与中国政府对物联网的大力扶持有关。所以层出不穷的新技术,有时候是真热,有时候是虚热”[32]。第二,虽然国内和国际都一定程度地存在“虚热”的现象,但Web of Science数据库中“大数据”的相关发表物还是相对“实”一些。当然这并不意味暗示着“南橘北枳”的某种决定论,值得我们警醒的是学术界自身要做好共同体的“看门人” 的工作,以一种“独立之精神”去发展科学。第三,且不论政府意志的推动作用,“大数据”本身缺乏一个“内核”可能是造成其“虚热”的根本原因。如果用拉卡托斯(Imre Lakatos)的话讲,《小的是美好的》同样产生于特殊的历史时期,昭示着一种理念的变化,但却由于其能形成“中间技术”的“内核”及一系列保护带而基业长青[33]。因此“大数据”若想变成一种“大趋势”,还需要“练内功”。

无论如何,不同于此前科学计量学“静态拍照”似的关键词共现研究,本文试图以反事实思想实验的方式去探寻其中的因果机制,从而回答STS领域一个非常古老却依然有待解决的问题。这一举措不能不说是大胆的。必经和以恐怖主义组织为代表的人际网络不同,移除“关键行动者”的做法不可能是事实的。而且通过“大数据”和“小即美”两个网络的比较也说明,学术共同体中的关键词共现应该有着更强的稳健性。诚然本文所践行的反事实相较于经济学中复杂的模型方法[15],略显简单。甚至亦没能达到公共政策分析中,将证据丰富的真实世界置为分析基础——即在分析过程中,要依靠这些真实的信息来完成反事实推演过程,这样才能确保结果是科学的、可靠的;反事实的推演过程必须基于一套系统的、合理的逻辑框架,必须符合相关行为主体的一般行为原则,并反映行为主体间关系和其所面对的社会情境[34, 35]——的基本要求。从这个意义上讲,本文所做的还只是一个非常初步的探索。但正如著名历史学家尼尔·弗格森所言(Niall Ferguson),“我们(作者们)企图弄清过去的‘实际情况’,是一种历史的必要,因为我们必须同样地重视当时人们在事实发生前考虑过的各种可能性,而且对它们的重视应当超过当时的人未曾想过会出现的那个结果”。事实上整个社会科学界已经开始越发认识到,由于反事实问题的存在,单一个案不能确定因果关系的简单道理[36]。而反事实问题的重要性,就恰在于能够提供新的研究视野[20]——这样一种尝试可能正如量子力学中的“枣糕模型”一样,可以开启更多的探究社会“本质”和“规律”的可能。“时间永远不停地在分岔,指向无数个未来”[16]。

参考文献

[1] Kuhn T S. The structure ofscientific revolutions[M]. [Chicago: University of Chicago Press, 1962.

[2]Lash S. Critique of information[M]. London; Thousand Oaks, Calif.: SAGE, 2002.

[3] 张勤,马费成. 国外知识管理研究范式——以共词分析为方法[J]. 管理科学学报. 2007(06): 65-75.

[4] 魏瑞斌,王三珊. 基于共词分析的国内Web2.0研究现状[J]. 情报探索. 2011(01).

[5] 钟伟金,李佳. 共词分析法研究(二)——类团分析[J]. 情报杂志.2008(06): 141-143.

[6] 钟伟金,李佳. 共词分析法研究(一)——共词分析的过程与方式[J]. 情报杂志.2008(05): 70-72.

[7] 冯璐,冷伏海. 共词分析方法理论进展[J]. 中国图书馆学报.2006(02): 88-92.

[8] 钟伟金,李佳,杨兴菊. 共词分析法研究(三)——共词聚类分析法的原理与特点[J]. 情报杂志.2008(07): 118-120.

[9] 崔雷. 专题文献高频主题词的共词聚类分析[J]. 情报理论与实践. 1996(04): 50-52.

[10] 柴省三. 内容词-共引聚类分析及其在科学结构研究中的应用[J]. 情报学报. 1997(01): 68-73.

[11] 郑华川,于晓欧,辛彦. 利用共词聚类分析探讨抗原CD44研究现状[J]. 中华医学图书情报杂志. 2002(02): 1-3.

[12] 侯跃芳,崔雷. 医学信息存储与检索研究热点的共词聚类分析[J]. 中华医学图书情报杂志. 2004(01): 1-4.

[13] 张晗,崔雷. 运用共词聚类分析法研究生物信息学的学科热点[J]. 医学情报工作. 2004(05): 327-330.

[14] 魏瑞斌. 社会网络分析在关键词网络分析中的实证研究[J]. 情报杂志.2009(09): 46-49.

[15] Liang L, Chen L, Wu Y, et al.The role of Chinese universities in enterprise–university research collaboration[J]. Scientometrics.2012, 90(1): 253-269.

[16] Hu C, Hu J, Gao Y, et al. A journalco-citation analysis of library and information science in China[J].Scientometrics. 2011, 86(3): 657-670.

[17] Wan J, Hua P, Rousseau R, et al. Thejournal download immediacy index (DII): experiences using a Chinese full-textdatabase[J]. Scientometrics. 2010, 82(3): 555-566.

[18] Byrne R M J. Mental models andcounterfactual thoughts about what might have been[J]. Trends in CognitiveSciences. 2002, 6(10): 426-431.

[19] Roese N J. CounterfactualThinking[J]. Psychological Bulletin. 1997, 121(1): 133-148.

[20] Ferguson N. Virtual history:alternatives and counterfactuals[M]. New York: Basic Books, 1999.

[21] Fogel R W. Railroads andAmerican economic growth : essays in econometric history[M]. Baltimore, Md:Johns Hopkins University Press, 1964.

[22] Lewis D K. Counterfactuals[M].Cambridge: Harvard University Press, 1973.

[23] Pearl J. Causal inference in statistics:An overview[J]. Statistics Surveys. 2009, 3: 96-146.

[24] 强舸,唐睿. 反事实分析与公共政策制定——以“自行车难题”为例[J]. 公共管理学报. 2012(03): 32-40.

[25] Lebow R N. What's So Differentabout a Counterfactual?[J]. World Politics. 2000, 52(04): 550-585.

[26] Lipe M G. Counterfactual Reasoning as aFramework for Attribution Theories[J]. Psychological Bulletin. 1991, 109(3):456-471.

[27] Tsvetovat M, Carley K M.Structural Knowledge and Success of Anti-Terrorist Activity: The Downside ofStructural Equivalence[J]. Journal of Social Structure. 2005, 6(2).

[28] Borgatti S. Identifying sets of keyplayers in a social network[J]. Computational & Mathematical OrganizationTheory. 2006, 12(1): 21-34.

[29] Borgattr S P. The key player problem[M].Dynamic social network modeling and analysis: Workshop summary and papers,Breiger R L, Carley K M, Pattison P, Washington, D.C.:National Academies Press,2003, 241-252.

[30] Hargens L L. Using theliterature: Reference networks, reference contexts, and the social structure ofscholarship[J]. American sociological review. 2000: 846-865.

[31] Schumacher E F. Small isbeautiful; economics as if people mattered[M]. New York: Harper & Row,1973.

[32] 牛禄青. 构建大数据产业环境专访中国工程院院士, 中科院计算所首席科学家李国杰[J]. 新经济导刊.2013(12): 37-42.

[33] Lakatos I. The methodology ofscientific research programmes[M]. Cambridge; New York: Cambridge UniversityPress, 1978.

[34] Tetlock P E, Lebow R N. Pokingcounterfactual holes in covering laws: Cognitive styles and historical reasoning[J].American Political Science Review. 2001, 95(4): 829-844.

[35] Lebow R N. Counterfactual ThoughtExperiments: A Necessary Teaching Tool[J]. The History Teacher. 2007, 40(2):153-176.

[36] 刘林平. 反事实、控制变量和文本———对定性研究的反思[J]. 云南大学学报(社会科学版). 2014(01): 45-53.

正文到此结束
Loading...