主页 | 专栏列表 | 分类列表 | 来稿登载 | 创新动态 | 创新新闻 | 相关网站 | 网站简介 | 陈一文顾问 | 投稿指南 | 友情链接 | 山风文摘 | 视频精选
陈一文专栏 >> 20.“科学共同体”的重要规则:“同行专家评议”的局限性与弊端!

陈一文 (cheniwan@263.net) 2007.11

“科学共同体”的规则无法“自拔解套”!

——“科学共同体”及其规则剖析研究报告之20

2003 年秋天,“中科院资源环境科学信息中心发布了研究评估报告《国际及中国数学发展态势》,对 1993年~2003年10年期间中国数学的发展态势进行了分析。报告中某些结论性的意见在中科院数学与系统研究院的数学家中引起了强烈反应,他们认为这些结论与事实严重不符。”

(王丹,中科院数学研究成绩斐然,科学时报,2003.09.08)

-- 马志明院士的观点则是“研究质量要让同行来评价”。马志明是中国数学学会理事长。他评价数学学科要使用国际通用参考指标,即获国际大奖的情况、参加国际高级学术会议的情况、论文被引用的情况和同行评议等。同时这几个方法也要综合起来用,因为没有哪一个指标能够单独衡量一个科学家或研究机构的研究水平。

国务院办公厅2007年2月24日以《中华人民共和国国务院令(第 487号)》的方式公布了国务院第 169次常务会议通过的自 2007年4月1日起开始施行的《国家自然科学基金条例》。

http://www.nsfc.gov.cn/nsfc/cen/gltl/02.htm

尽管没有使用“同行评议”的词汇, 《国家自然科学基金条例》的重要条款规定对申请项目进行评审时采用“同行专家”进行“通讯评审”与“会议评审”的规则。

第十四条 基金管理机构对已受理的基金资助项目申请,应当先从同行专家库中随机选择 3名以上专家进行通讯评审,再组织专家进行会议评审;对因国家经济、社会发展特殊需要或者其他特殊情况临时提出的基金资助项目申请,可以只进行通讯评审或者会议评审。

评审专家对基金管理机构安排其评审的基金资助项目申请认为难以作出学术判断或者没有精力评审的,应当及时告知基金管理机构;基金管理机构应当依照本条例规定,选择其他评审专家进行评审。

第十七条 基金管理机构根据本条例的规定和专家提出的评审意见,决定予以资助的研究项目。基金管理机构不得以与评审专家有不同的学术观点为由否定专家的评审意见。

国家重点基础研究发展计划网》 2005-12-22发布的《国家重点基础研究发展规划项目管理暂行办法》“第三章立项程序”规定:

http://973.epri.ac.cn/html/management/103.html

第十五条 重点规划项目评审分预审、初评和综合评审三个步骤进行。

1.预审 根据申报项目的情况,预审分若干个小组分别进行。预审可采用会议评审或与函评结合的方式进行。联合办公室遴选对每组项目所涉及的科学问题及其应用背景有深入了解的同行专家若干人组成相应的预审专家组,负责相关项目的预审。

2.初评 初评一般采用会议形式,分若干小组分别进行。初评专家组由联合办公室负责组建,其成员应是熟悉相关工作的高水平同行专家,必要时可聘请部分管理专家参加。初评专家组审议申报项目建议书,听取项目建议人的报告和答辩,进行民主评议后,对建议项目的重要性、科学性、可行性、学术带头人及研究集体的情况等提出科学、客观、公正的初评意见,通过记名投票方式确定项目的排序,并由联合办公室汇总、整理后形成初评报告,提交专家顾问组审定。

3.综合评审 综合评审专家委员会由专家顾问组成员和参加初评的专家代表等人员组成。综合评审会议由专家顾问组主持,在听取初评报告和申报项目建议人答辩并征求有关部门意见的基础上,通过集体讨论及记名投票方式对项目进行综合评价,提出项目评审意见和优先立项顺序。重点规划项目的立项评审工作实行回避制度。

第十六条 专家顾问组对综合评审结果进行审查和讨论,提出重点规划项目立项建议,经科技部部务会审定后立项。

国家重点基础研究发展计划网》2007-06-18 发布的《国家重点基础研究发展计划管理办法》“第三章立项”规定如下:

http://973.epri.ac.cn/html/management/176.html

第十九条 重大项目立项评审一般需要经过初评、复评和综合评审三个步骤,以定性评价为主,定量评价为辅。

初评是同行评议,相关研究方向的同行专家依据项目申请书进行书面评审,从项目是否体现国家战略需求与科学前沿的结合、学术思路的创新性、研究方案的科学性与可行性、研究队伍的水平和研究工作基础等方面进行评审。

复评是领域评审,本领域同行专家组成评审组进行答辩评审,根据领域发展需求和布局,从项目的重要性、科学性和创新性、研究队伍的水平、研究工作基础等方面进行评审。

综合评审是专家顾问组主持的战略咨询。所有领域的专家组成评审组进行答辩评审,从国家战略需求、项目的创新性及研究队伍的创新能力等方面进行评审。专家顾问组根据评审结果向科技部提出立项建议。

第二十条 研究专项立项评审一般需要经过初评和复评两个步骤。科技部组建研究专项专家组,加强研究专项的总体设计和学术咨询。研究专项的立项程序是:研究专项专家组提出组织实施方案的建议,科技部审定组织实施方案并发布申报指南;科技部可委托专家组或相关专业机构对研究专项项目进行评审,提出立项建议。

第二十一条 涉及国家安全、重大突发性事件等需要国家特殊或紧急部署的有关项目,科技部委托专家顾问组进行学术咨询,专家顾问组向科技部提出立项咨询意见。

第二十二条 科技部根据专家评审结果和专家顾问组提出的立项建议,审议确定立项项目,聘任项目首席科学家,按规定程序批复项目计划任务书。

综上所述,《国家自然科学基金条例》与 《国家重点基础研究发展规划项目管理暂行办法 ∕ 管理办法》,以及名目繁多的“科技创新成果”鉴定、评审条例的“通讯评审”、“预审”、“初评”全部采用“同行专家评议”, 完全没有考虑“同行专家评议” 行不通的重要 例外。

西北大学孟凯韬教授(哲理数学研究所所长)最初在1998年,后在 2001年通过 《现行评价体制多弊端》一针见血地指出:

http://www.hzedu.net/Template/exaMessenge3.aspx?id=16747

-- “同行评议”本旨在把科学家的集体智慧和力量调动起来以形成正确判断,但久而久之逐渐暴露出它的弊端,在一定程度上助长了学术界的权威主义,破坏了科学的民主气氛。

-- 真正的“同行评议”有一个先决条件,即同行专家务必存在。 而所谓“同行”,应是就所评项目的知识背景而言,而不能囿于传统的学科划分。如果从事传统学科研究,同行专家也许还可以找到;但若开创新的研究领域或者从事交叉科学研究——特别是自然科学与社会科学的交叉研究,何同行专家之有?

-- 评审者对评价内容不甚了了或者根本不懂,何以对它作出正确评价?可是,在现实生活中,“同行”充其量是按照一级学科界定的;而在许多情况下,只有文、理科之分,甚至连文、理科都不分。这样的“同行评议”在当代“隔行如隔山”的条件下,实际上往往是“假内行”评“内行”的工作。

-- 得到肯定的,往往是没有多少创造性,因而容易理解、容易取得共识的工作;受到伤害的,则是具有创造性的工作,而且创造性愈强,受到的伤害愈大。既然如此,平庸之作层出不穷、平庸之辈春风得意,而创新成果和创新者则受到压抑甚至被埋没,也就在所难免了!

-- 评审工作不透明、评审程序不完善也是产生“冤、假、错案”的主要原因。在法律上,不论民事诉讼还是刑事诉讼,当事人不服判决都可以提出上诉,并且有受理上诉的机构。

-- 学术评价则不然。现在实际上只有评审者进行评价的自由,而无被评审者或所评项目的完成者进行反驳的自由。群众也难以对其实施有效的监督。因此,学术上的“冤、假、错案”甚至比刑事上的冤、假、错案还难纠正。

-- 现行评价体制多有弊端,由上可见一斑。产生学术腐败的原因虽然是多方面的,但一般都是通过评价体制中的漏洞产生作用的,因而改革评价体制势在必行。

孟凯韬教授说的好,“ 真正的‘同行评议’有一个先决条件,即同行专家务必存在。 而所谓“同行”,应是就所评项目的知识背景而言,而不能囿于传统的学科划分。如果从事传统学科研究,同行专家也许还可以找到;但若开创新的研究领域或者从事交叉科学研究——特别是自然科学与社会科学的交叉研究,何同行专家之有?”

孟凯韬教授说明了“同行专家评议”的规则无法应对“ 开创新的研究领域或者从事交叉科学研究 ,让 “同行专家”去“评议”他们完全不懂的这样的研究项目,实在是难为这些“同行专家”。但是,还有更深一层的问题

乙方〔非主流研究者〕明明白白向甲方〔该领域的学术权威、学术领头人、院士〕坚持的基本理论进行挑战的科研项目,乙方〔非主流研究者〕反倒必须获得甲方〔该领域的学术权威、学术领头人、院士〕的赞同后,才有可能获取项目基金和奖项审批,岂不笑话!这样的必要条件偏向保护谁和什么?压制谁和什么?打击了谁和什么不是很清楚吗?这样的决策也算是科学的决策,民主的决策,依法的决策吗?它符合科学的发展观吗?这样的决策能够促进 “创新型国家”的建设吗?

为此,《国家自然科学基金条例》、与《国家重点基础研究发展规划项目管理办法》,以及名目繁多的“科技创新成果”鉴定、评审条例,应当规定的最最重要“ 应当申请回避”的一种情况:“申请人的申请项目如果揭示相关学科当代占主导地位的基本理论存在严重局限性或重大实质性错误,那么坚持这种基本理论的评审专家在评审这样的申请项目时理应回避!”

有人要问 ∶如果坚持这种基本理论的评审专家在评审这样的申请项目时理应回避,那么将由谁来对这样的申请项目进行评审?笔者强调,这个问题不是本文讨论的内容,将以后讨论。

针对中国目前项目评审的现状,《科学时报》2007年7月13日发表中南大学李侠教授《项目评审应建立申诉机制》尖锐指出:

http://www.sciencetimes.com.cn/htmlnews/200771392717484184461.html?id=184461

-- 朋友申报了一个澳大利亚的项目,最近接到评审意见书,评审专家的意见分成两部分,完全对立,一方支持,另一方则表示不抱希望。反对方的理由是同样的项目欧洲已经投入大笔经费,尚未取得满意的结果。鉴于课题提出的计划的复杂性以及所报经费比较少,对能否作出满意的成果表示怀疑。但他们有一次正式的申诉机会,如果申诉成功,他们仍将获得该项目。

-- 反观中国,当下的各类项目评审往往是一边倒的情形:申报者只能是按要求在规定时间内申报,对结果只有接受的份儿,至于为什么评上或者落选,无权知道,即便通知,也是一种形式化的东西。相比而言,中国的各类项目评审缺少一个代表公正的程序——申诉机制。

-- 坦率地讲,目前中国的各类项目评审都处于严重的暗箱操作状态,美其名曰:为了防止各类干扰,努力使评审公正、公平。客观地说,这种说法理由很充分,然而实际的效果是:该知道的早就知道,不该知道的永远不知道。坊间传言,所谓项目评审无非是合法分钱的游戏而已,不必太当真,不信你看,那些成名的大家,他们的成名作肯定比他们被资助的项目做得优秀。 话偏理不偏,其中不乏无奈与愤慨。笔者曾与朋友戏言,如果把中国当年发表的全部SCI、EI论文作一个统计,看有多少成果是得到各类资助的,很有可能出现戏剧性场景。如果再考察一下,近20年所有国家重大项目的投入产出,相信人们会对当下的评审机制产生严重怀疑。人文社会科学则更具戏剧性。从横向上说,那些得到资助的成果在当年总成果的数量中肯定是少数的,这与人文社会科学基金严重缺少的现实直接相关。从纵向上说,那些得到资助的成果的质量很多也远比不上获资助者没有得到资助时的成名作,甚至也比不上同类没有得到资助的成果的质量。从这个意义上说,人们有理由追问:我们在拿纳税人的钱资助什么?当前的实际情况是:国家的初衷与实际的结果南辕北辙,恰好说明我们的项目评审在制度设计层面就存在严重缺失。国外给申请者一个申诉的机会,恰恰是最大限度地避免评审制度本身存在的制度漏洞。在科学日益分化的今天,没有一个人能够了解一个学科的全部问题,更何况一些前沿问题呢!申诉机制的存在保证了科技创新从制度层面上产生的可能性。

-- 不要小瞧申诉机会,它恰恰保证了评审的程序正义。由于有公开的申诉机会的存在,整个评审与被评审过程展现在公共领域的展台上,这个过程使很多暗箱操作的成本快速升高,也使评审人处于公共领域的公开监督之下。另外,我国的各类项目还存在一个认识误区,即同类研究只能有一个项目中标,其实,恰恰是这种认识导致我国科研基金的利用效率严重低下。试想,即便我们为同类研究设立两个项目,多出的投入无非是一个项目的成本,然而这种做法却在两个项目中形成了有效的竞争,从而极大地提高了该类项目的研究效率,无形中也促进了科学的发展。由于竞争的存在,也能打破由项目分配带来的利益集团的形成。一旦垄断利益集团形成以及地位的日益稳固,整个科研体制将被锁定在低效率的发展路径上。此时,处于边缘的个体的申诉机会和概率就将大量减少,申诉成本的增加——在垄断的局面下某个申报者一旦公开申诉,所丧失的机会成本是巨大的——导致没有人敢于申诉,因为他指涉了对权威与现行体制的挑战,这将直接影响他在圈子内的未来发展。

-- 有学者曾撰文建议对科研成果采用赎买制,笔者是非常赞成的,这可以看作对当下无效评审的替代策略。笔者也曾多次撰文建议设立国家科技发展银行,对于部分项目与成果采取贷款与赎买的方式,这样就可以最大程度地消减权力对科研过程的干预,也可以减少那些走形式的无效的劳民伤财的评审,从而提高科研效率。 如果说,这些建议都是长期规划的话,那么当下采取项目评审的申诉机制,将极大地促进科学的民主化进程,也可为项目评审提供一种制度纠偏机制。

为了更深入剖析这个问题,让我们进一步认真倾听“圈内人”对于目前“同行评议”的评论。在这方面,本顾问对于国家自然科学基金委员会政策局学科政策处龚旭处长的认识与评论给予特别的注意。

科学文化评论》2004年第5期发表龚旭处长《鼓励创新的制度基础 —— 关于科学的规范系统与奖励系统的思考 》披露:

http://www.ccfms.org/newsweb.asp?id=105

-- 众所周知,科学领域存在着竞争,这种竞争由于奖励制度的存在而加剧,但运行良好的规范制度可以发挥奖励制度的正面效应,而将日趋激烈的竞争限制在不危及科学事业自身的范围之内。以笔者近年来关注较多的同行评议为例,同行评议既是科学的奖励系统的重要组成部分,也是规范系统建设的必要手段,因为对科学贡献的承认必须建立在科学家同行的评价之上,而科学的规范系统也要求科学领域所有的研究活动及其成果必须得到同行专家的严格审查。然而,当同行评议受到科学界以外的力量的严重干扰,科学家与其同行间的关系变得远不如与外行(如媒体、官员、商人等)间的关系重要时,由有资格的同行进行严格审查的规范与控制机制就会失效,而外行又不可能对真正具有科学意义上独特价值的研究及其成果加以识别,更别说公正有效地进行奖励了。于是,对所谓“创新”的盲目推崇,会变成对奖励的贪婪渴求和对科学资源的肆意争夺。没有约束的恶性竞争,终将导致人们不择手段地抬高自己打击对手,不负责任地浮夸和厚颜无耻地作假,甚至滥用科学权威和炮制伪科学。最终的结果将是,宝贵而有限的科学资源被浪费,真正创新性的研究得不到支持乃至被埋没,这些对科学事业无疑会造成极大的损害。因此,对片面强调创新所产生的负面作用应当特别警惕。

-- 从上述分析可以看到,仅仅强调鼓励创新是不够的,因为鼓励和保护创新必须具有制度基础。不仅需要建立与维护运行良好的规范制度和公正有效的奖励制度,而且需要使这两个充满张力的制度的效力之间达至平衡。就我国目前的情况看,要构建鼓励创新的制度基础,至少要解决以下几个方面的问题。

-- 首先是建立良好的学术规范制度,包括科学的技术规范和行为规范。规范是科学世界的游戏规则,凡是身处这一世界和将要加入这一世界的人,都必须了解规则,严格遵守规则。遵守规则不是为了得到奖赏,而是参加游戏的必要前提;如果违反规则,必得受到惩罚——要么出局,要么承认并改正错误。笔者以为,在科学的行为规范系统中,科学的公有主义是当前尤其需要强调的。如前所述,遵循公有主义的规范,不仅意味着科学家必须公开自己的研究结果,与同行进行交流并接受同行的检验,而且还要求科学家承认自己知识的局限性,并说明自己的研究与前辈和同行研究的关系,说明哪些是建立在他们工作的基础之上,以及自己又是怎样进一步探索与发展的。没有“横空出世”的科学家,再杰出、再伟大、再具有创造性的科学家也必须承认,自己的发现是建立在已有研究的基础之上的,正如默顿常引用的牛顿的格言所表述的:“如果我看得更远的话,那是因为我站在巨人的肩膀上”。即使那些动辄声称改写科学史并且断然否认他人研究价值的人,有谁能说自己是比牛顿更伟大的科学巨人呢?但现在的问题是,大大小小的科学狂人和学术骗子,往往非但不会为自己的狂妄和欺骗行为付出代价,反而会从中获得利益,在科学世界里不时上演着“劣币驱逐良币”的闹剧。这一定是我们的规范制度出现了问题,而建立一个运行良好的科学的规范制度,需要科学界、政府、科学管理部门和社会各界的共同努力。

-- 其次是建立公正有效的同行评议机制。由同行进行评议的方法,从制度上改变了靠政府行政命令的方式来配置科学资源的体制,这是与我国的经济体制和科技体制改革相伴随的。同行评议既是科学的奖励系统的重要组成部分,也是确保奖励系统正常运行的重要规范机制,有学术“守门人”之称。但同行评议的本质在于评议的学术性与独立性,而非评议方式本身。虽然自改革开放以来,制度化的同行评议在我国取得了长足的发展,但由于种种原因,我国的同行评议依然存在许多问题。笔者认为,其中的一大误区,就是简单地将专家评议等同于同行评议。殊不知,由于现代科学领域的日益分化,每个具体的科学研究领域都形成了自己特有的技术规范和学术价值,因此,真正严格意义上的“同行”不会太多,也没有“全能的”科学家。只有受过严格的专业训练、了解学科前沿并在本学科领域从事研究的科学家,才有资格评判其同行的研究工作。

-- 对于我国这样一个科学规模相对较小、科研整体水平相对还不很高的国家,一些研究领域的同行数量更少,在同行评议中出现外行评内行的情况并不少见。而且,由于评议缺乏独立性以及受到非学术因素的较大影响,对评议公正性更是产生了很大的负面影响,致使有些情况下的同行评议只是徒有虚名,不可能对被评对象起到学术上把关的作用。尤其是由已经脱离科研岗位多年的政府官员作为重要的同行专家,参加学术性很强的研究项目或成果的评议,不仅这种做法本身缺乏基本的科学根据,而且对于深化科技体制改革,以及充分发挥科学家在包括科学技术在内的各领域的重要作用,甚至可以说是较大的阻碍。原因是,其一,虽然这些政府官员或许过去曾经是优秀的科学家,但由于较长时间离开科研岗位,难免对科学前沿把握不准确;其二,当这些官员参加同行评议时,由于其主要社会角色是官员,因此,尽管他们以专家的身份参加评议,但他们自己的角色转换未必及时,甚至不可能完成转换,加之其他专家在评议中也往往将其作为必须尊重(如果不是服从的话)的特殊“专家”、甚至仍然当作“领导”而非平等的同行对待,必然影响评议的公正性;其三,当官员在评议中受到部门利益的影响时,评议就更难以做到客观公正。

科学文化评论》2004年第6期发表龚旭处长《(美国)NSF的同行评议制度及其启示》介绍:

http://hps.phil.pku.edu.cn/viewarticle.php?sid=1560

-- NSF成立于1950年,是世界上最早确立以同行评议为运行机制的政府科学研究资助机构之一。在过去的半个多世纪里,NSF通过不断规范与改进其最重要的制度之一——同行评议制度,在力求使最好的研究及研究人员得到资助的前提下,既充分尊重与维护科学及科学共同体的自主性,也力图保证政府资助的科学研究更好地服务于国家与社会需求,发挥其作为政府与科学界之间桥梁的作用。

-- 同行评议作为一种公共资源配置的重要手段,必须保证其有效性和公正性。所谓有效性是指通过同行评议遴选的资助对象必须是最具创造性的思想和最优秀的人,而公正性是指评议的程序和过程必须公平、公正和公开。 为了实现同行评议公正有效的目标,NSF经过50多年的探索与发展,目前已建立起一整套相对较为成熟的规范与制度,同时通过不断改善整体资助环境及评议条件,为实现评议的客观、公正和有效性创造条件;而且,美国政府的其他相关机构(如国会的审计总署等)对NSF同行评议的评估与监督,也构成了其评议公正有效的外部监督机制。正是这些既相互制约又相互配套的政策与制度,加之产生于美国特定历史文化背景中的科学传统与评价文化,在NSF实现同行评议公正和有效方面发挥着重要作用。由于NSF同行评议政策的内容涉及其资助的许多方面,在一篇文章中难以全面论述,本文拟选择NSF在同行评议制度建设上比较有特色的方面,如对同行评议的规范与制约、监督与评估以及对资助环境和评议条件的改善等,进行简要的介绍与分析,进而阐发对我国同行评议制度建设的启示与借鉴意义。

-- NSF对同行评议的组织、评议人选择、评议结果审核、申请人申诉等环节的管理,以及对评议人和其他相关人员(如计划官员)基本职责与行为规范的制定等,是实现评议公正性和有效性的重要基础。

-- 在NSF,计划官员(program officer) 是组织同行评议最直接和最重要的负责人。NSF受理和批准项目申请的一般程序是:发布申请指南与项目指南→受理项目申请→计划官员选择评议人→向评议人发放评议指南和申请材料进行评议(或采用通信评议,或采用会议评审,或二者兼有)→审查和综合评议结论并提交本计划主管(program director)→科学处的计划主管审核评议结论→预算、财务与项目管理局(BFA)的项目处审核资助决定并向申请人通知资助决定。从这一程序上可以看出,尽管评议人的评议活动是独立的,但NSF在选择评议人、审查评议结论、最后作出资助决定等若干环节上,有一系列的制约措施,以防止评议中的不公正,并及时纠正评议过程中可能出现的偏差。例如,对于评议人写出的评议意见,计划官员不会“照单全收”,而是进行取舍和综合,在此基础上写出评议意见,尤其是对于否定同行评议专家意见的项目,计划官员必须写出2-3页的详细说明;计划官员的评议意见也还不能说是最终的结论,上级主管(即计划主管)将从整个计划各研究方向的平衡与发展的角度等,对评议结论进行审核;而计划主管的结论还不等于资助决定,最后的资助决定要由职能部门(即BFA)从项目管理的角度,如在研究类项目的预算中是否用于资助仪器的经费过多等,对科学处提出的资助建议进行审核之后才能得出。

-- NSF不仅对评议组织者的行为进行规范和制约,而且对评议人也有相应的要求以及对其行为的规范与制约。NSF对选择评议人的要求是:在所评议的领域具有专长;没有利益冲突;客观公正;评议人在学术生涯的不同阶段、在研究机构的不同类型和地域分布、在研究及研究人员的多样性等方面的平衡。有的计划官员对参加通信评议的评议人提出了十分具体的要求,例如,要求评议意见不得少于半页到一页,说明详细陈述其优缺点的评议意见尤其受欢迎,并且还提醒评议人,不要对自己非常熟悉的领域的申请打分过高或过低,如果对所评申请不完全熟悉,可以只对其中自己最熟悉的部分进行评议,但要写出具体理由,等等。

-- 当评议人收到需评议的申请材料的同时,也会收到NSF的评议须知和“利益冲突与保密声明”。评议须知包括评议准则、利益冲突提醒、保密义务提醒,以及NSF承诺对评议人姓名、身份和所在机构予以保护等内容。这样一份须知既对评议人的行为进行了规范与制约,同时也鼓励评议人更为客观公正地表达批评性意见。而评议人签署“利益冲突与保密声明” ,则表示自己已仔细阅读了该声明所列数的3类17种可能的利益冲突及其处理办法(若发现有利益冲突,必须将告知NSF计划官员),声明没有利益冲突,并同意为申请书和申请人信息保密。 NSF列举了三类可能的利益冲突,第一类是评议人与申请人所在机构的关系,共10种,如雇佣关系、顾问关系、师生关系等;第二类是评议人与申请人或与之相关的人员之间的直接关系,共5种,如家庭成员、业务伙伴、学位论文导师或学生等;第三类是评议人与申请人之间的间接关系(如评议人的配偶与申请人的关系等)及其他关系(如评议人与申请人之间个人私交密切),共两种。NSF的评议组织者会根据评议人提供的相关信息,慎重选择合适的评议人。

-- 此外,NSF向申请人全文反馈评议信息,以及接受申请人对评议结果进行申述的机制,也构成了对同行评议进行监督与制约的另一个环节。具体而言,如果未获资助者对评议意见及资助决定存在异议,可向NSF的助理主任提出申诉,要求给予解释,甚至重新组织评议;如果助理主任给出的解释不能让申请人满意,申请人还可以再次向NSF副主任提出申诉请求。NSF在2003年共受理此类申诉26起,重审后有2起得以纠正。

-- NSF及美国相关政府部门对NSF同行评议的监督,主要是通过设立多渠道的监督机制和实行多层次的制度化评估来实现的,旨在为评议建立多道“警戒线”和多层“防火墙”,以此保障评议的公正性。

-- 根据美国的法律,每个联邦机构都必须设有独立的总监察长办公室(OIG),负责对该机构开展客观的审计、调查、监察与评估,并对欺骗、浪费与滥用行为进行检查与防范。NSF的OIG成立于1989年,由总监察长领导,其法律地位与NSF相同,直接向国会和NSF的决策部门国家科学委员会(NSB)负责。根据法律,OIG有权力与责任,对NSF各类项目申请与资助、各部门职能与作用、各系统(其中包括同行评议系统)状况与运行等各方面进行监督与监察。 OIG每年都收到来自各方面的投诉和举报,有不少涉及到评议人违反同行评议中有关利益冲突和保密的规定。OIG通过严格的调查程序,在查实后向NSF提出处理建议,并在每半年向国会提交的报告中公开处理建议及其依据。以OIG对同行评议举报的处理为例,对于不遵守“利益冲突声明”剽窃他人申请书的评议人,OIG建议NSF在对其进行批评后,根据情节轻重分别处以不同的惩罚措施:有的要求在未来几年提交申请时同时提交证明并保证其中不含剽窃材料的书面说明,有的禁止在未来几年之内申请联邦政府的科研经费,有的不得在未来几年之内担任联邦机构的评议专家,等等。OIG还与大学合作开展对评议人(包括潜在的评议人)的教育和培训工作。

-- 评估NSF同行评议的运行状况是对其进行监督的重要手段。NSF对同行评议的评估有不同的层次,各学科/计划的同行评议评估由其审查委员会(COV)承担,每三年一次,并向各科学部咨询委员会(AC)汇报;NSF范围内同行评议系统的全面评估每年进行一次,由NSF向NSB提交报告。

-- 启示与借鉴

-- 通过以上的介绍与分析,结合我国国家自然科学基金委员会(NSFC)的同行评议实践,可以提出我们改善同行评议制度的几方面建议。

-- 第一, 进一步规范同行评议程序以及加强制约环节的建设。程序公正是评议活动公正的重要前提,尽管NSFC经过近20年的发展,在评议的组织、评议方式、评议专家库建设等方面已经建立起一整套较为成熟的规范,如规范评议程序、“引进”海外评委、署名推荐创新性强但非共识程度高的项目等,但在规范评议活动、加强小额探索性研究项目管理、利益冲突防范等方面,NSFC还需要建立更为有效的制度,并实施与之配套的支撑性政策。例如,在提高通信评议意见的有效性方面,NSFC可以对评议人提出具体的篇幅要求以及评议尺度的要求,以指导评议人撰写更有价值的评议意见;NSFC还可以改进小额探索性研究项目现有的申请方式,将其设为单独的申请类别,使申请人在考虑提出申请时就特别突出项目的创新性,同时,评议人也可以将重点放在其创新性上,而不必过多考虑其他方面的条件;NSFC应通过要求评议人填写“利益冲突声明”,尽到告知、提醒与督查的义务。

-- 第二, 适时开展对同行评议活动的评估。作为一个科学资助机构,资助过程其实与资助结果同等重要,而同行评议就是资助过程的主体部分。NSF的经验表明,仅仅通过科学界和公众的监督,只能披露与评议相关的个别不轨行为与违规情况,不可能全面深入地考察其同行评议的运行情况,因此,针对NSF及其基本资助单元(计划/学科)的同行评议开展制度化的评估是十分必要的。如前所述,对NSF同行评议的评估分三个层面,即,COV开展对计划/学科同行评议的具体组织工作的评估,NSF开展对其评议总体情况的评估,GAO开展NSF与其他类似资助机构同行评议的比较性评估。但这三个层面的评估在NSFC还都没有展开,这可能是因为NSFC长期以来重视资助结果的展示,而对管理方面的评估相对较弱的缘故。从目前较为可行的方式看,NSFC可以在一些学科对其同行评议状况开展试点评估,通过发现其中带有普遍性的问题,制定有针对性的政策措施。

-- 第三, 改善评议条件,为实现同行评议的公正有效创造更好的环境。为了提高资助率、减轻评议负担以及降低评议成本,NSF一方面力争国家财政投入更多的经费,另一方面也采取减少申请量、延长评议时限等措施,来改善评议条件实现。NSF减少申请量的办法还有:(1)鼓励研究人员在申请前与计划官员联系,以了解何种水平的研究可能得到资助;计划官员甚至受理简单的预申请,帮助申请人确定是否提交正式申请;(2)限制过去未得到批准的申请再次提交,即,对于没有针对上次的评议意见做出合理解释或进行相应修改的申请,NSF不予受理。但如果计划官员受理的项目超过一定数量(如100项或150项),要对项目申请实行如此“精细”的管理,显然是不可能的。然而,在短时间内NSFC无论在经费还是在工作人手方面,都不可能达到类似于NSF的水平,如果NSFC也希望通过上述NSF所采取的途径来实现评议条件较大幅度的改善,恐怕只有依赖于国家整个科技体制的深化改革以及NSFC本身的重大变化了。

龚旭处长2006年5月30日发表的论文《同行评议与科学基金政策研究》进一步指出:

http://www.nsfc.gov.cn/nsfc/20znzt/zhengwen_66.htm

-- 中国科学家不会不知道国家自然科学基金,而提起"科学基金"就离不开"同行评议"--无论是"评别人"还是"被人评",无论是"评上"还是"没评上",大凡与科学基金打交道,就避不开一个"评"字,而且基本上是"同行"间的"评"。正因为是由"同行"来进行"评议",决定了国家自然科学基金委员会(以下简称"基金委")评议活动的特性,而同行评议的质量又决定了基金委资助工作的质量。其实,与所有科学研究资助机构一样,组织同行评议是科学基金工作的核心业务。

-- 我是1993年来到基金委的,十余年来一直在政策局工作。记得我刚来一个月就参加了一次科学基金政策方面的研讨会,研讨的主题就是"同行评议"。那时,我对自己是否适合参会还有些顾虑,觉得来基金委时间太短,对较为深奥的同行评议可以说还一无所知,担心到会上无异于"听天书"。但是,当时主持政策局工作的吴述尧研究员却坚持让我去。他说,要了解科学基金,必须了解同行评议;要尽快熟悉科学基金政策工作,必须先从同行评议入手。就这样,同行评议成为我了解科学基金的第一个切入点,也是我进行科学基金政策研究的重要起点。在此后的工作和研究中,同行评议往往成为我注重的对象,常常作为"关键词"出现在我的文章中。这不仅由于同行评议活动是科学基金工作的重要内容,而且对于科学政策研究而言,"同行评议"这一概念本身具有丰富的理论内涵和实践价值,体现在科学政策以及与之相关的诸多领域的各种研究中。从科学的体制化到科学的奖励系统,从科学自主性到科学建构论,从科学革命的结构到科学的精神气质,同行评议始终是一个绕不开的议题。诚然,不同的领域是从各不相同的角度研究与关注同行评议的。比如,默顿学派的科学社会学从科学体制和科学规范来研究同行评议,分析"评议"与"承认"在奖励系统中的地位;科学知识社会学则从"实验室生活"出发,考察科学家同行间的评价性互动在建构"科学事实"中的作用;而科学基金工作者更多关注的是同行评议系统的构成与运行,以及评议的有效性与公正性。

-- 我们知道,我国科学基金制的建立与基金委的成立是改革开放的产物,在科研资源配置中引入同行评议方法,是我国的科研管理实现与国际接轨的重要举措。在当初中国科学院89位学部委员提议设立国家自然科学基金时,就明确提出科学基金的运行应借鉴美国国家科学基金会(NSF)的做法与经验,接受科学家自由申请的研究项目,并以同行评议的方式遴选受资助项目,这就从根本上改变了计划体制的科研资源配置方式。也正因此,了解、分析与研究国外科学资助机构(尤其是美国NSF)的同行评议,便成为我们进行科学基金政策研究的重要组成部分,并经历了伴随中国改革开放与科学发展的历史进程。

-- 早在基金委成立之前,其前身--中国科学院科学基金委员会就组织翻译了美国著名科学社会学家科尔兄弟等在上世纪70年代后期和80年代初针对美国NSF同行评议开展调查所形成的研究报告,作为《科学基金工作参考资料》第一辑,发放给科学基金委员会的每一位工作人员。该研究以NSF资助的10个基础学科为调查对象,通过调阅3835份申请书及其评议意见进行分析,了解NSF做出资助决定的程序与过程,特别是NSF项目官员在资助决策中的作用,分析申请人的结构性特征(年龄、工作单位等)和其他特征及其与获得资助的关系,以及同行评议意见与资助决定的关系等。研究结果表明,从总体上看NSF的同行评议制度运行状况良好:评议人的评议意见得到NSF项目官员的高度重视,申请人的个人特征对其申请获资助与否没有高度相关性,尽管评议中利益冲突在所难免,但评议人之间不存在外界所称的"老朋友关系网"。不过,他们也对NSF进一步改进同行评议工作提出了政策建议。例如:建议项目官员在选择评议人时,要注意其专业性和战略性两方面的平衡;项目官员不仅要注意评议人给项目申请打出的分数,更要重视专家的具体书面意见;应向申请人反馈评议人的书面评议意见等等。这份研究NSF同行评议的报告数据详实、分析精细,成为我国最早一批从事科学基金管理的"老基金"手中深入了解国外同行评议工作的难得资料,也为后来改进我国同行评议程序、制定遴选评议专家规范、确立评议标准等方面的工作,提供了重要的参考依据。

-- 在借鉴国外经验的同时,注重本国的实践与经验也是研究工作的重要方面。1991年,当我国科学基金制建立已近十年、基金委成立亦有五年,同行评议制度在成功展现其不同于计划体制的优越性之后,也逐渐显现出一些缺陷。特别是随着我国科研经费供需矛盾的日趋尖锐,科学基金同行评议工作中的一些问题开始引起较为普遍的关注。因此,为了系统研究并试图解决同行评议中的突出问题,经委务会批准,基金委专门成立了由中国科学院王之江院士为组长的同行评议软课题研究组开展研究。与美国开展NSF同行评议研究工作类似,该课题的研究工作主要由我国科学政策研究专家承担,科学部的许多同行评议管理人员参加了调研,政策局具体负责研究的组织协调工作,同时政策局的工作人员也参与了课题研究。

-- 我也有幸参加了上述课题的部分研究工作,前面提到我到基金委后参加的第一次关于同行评议的科学基金政策研讨会,就是该课题组召开的一次会议。该课题的研究主要包括三个部分:(1)对同行评议的总体研究。包括同行评议的定义、特点、作用及运行中的主要问题,国外科学基金机构的同行评议系统比较研究,对基金委同行评议系统的调查结果及其简要分析,并针对改进同行评议的公正性和公开性提出了政策建议。(2)对同行评议系统中最重要的支撑系统--评议专家系统的研究。这部分从同行评议专家应该具备的理想化的条件出发,构建同行评议专家指标体系,提出建立选择同行评议专家系统的设想。(3)对同行评议中较为棘手的"非共识项目"问题的研究。研究发现,在基金委受资助项目中普遍存在着非共识项目(约1/3),且产生"非共识"现象有多种原因。课题组建议,对待非共识项目可采取分类处理、重点复评、及时反馈、特别保障等手段,特别关注由于具有超前性和原创性特点的项目而引起的"非共识",对这类项目可通过设立"预研项目"的方式予以保护。在该课题的整个研究过程中,政策专家十分重视与基金委管理人员的交流与互动,因而研究中形成的一些结论和想法也比较容易为管理人员所接受。例如,从基金委后来设立的旨在支持风险性较高的创新性项目类型--小额预研项目,就可以看到当时对处理"非共识项目"所提建议的踪影。该课题的研究结果于1996年以《同行评议方法论》一书的形式正式出版,在全国科研管理界产生了广泛的影响,尽管在今天看来还有许多发展的空间,但迄今仍是我国同行评议研究的代表性论著。

-- 随着基金委同行评议工作的不断改进和对国外经验的更多了解,加之我在科学政策领域的研究积累,自己对同行评议的研究工作也在逐渐深入。以同行评议公正性研究为例。十多年前参与的同行评议软课题研究,仅从评议专家应当具备的科学素养和道德水平出发,描述评议专家"应该怎样",尚未考虑其"实际所是",也没有分析可能通过哪些评议政策和资助政策使得评议专家成为其"应当所是"。这是与当时的时代背景和研究程度分不开的:一方面当时评议公正性的问题还没有今天这样迫在眉睫,另一方面则是由于我们对同行评议的研究刚起步,对其相关理论研究还很不够,往往只是将同行评议视为一种分配科研资源的技术性手段,而不是将其作为科研体制甚至社会制度的一部分加以研究。实际上,近年来集中表现在同行评议公正性方面的问题,如:同行评议的利益冲突加剧、评议专家信誉度降低、科学不端行为影响评议活动等都与我国科技政策、科研环境、甚至社会转型的大背景密切相关。在整个国家经济社会制度转轨的过程中,道德意识与行为约束机制发生很大变化,利益冲突在各个领域凸显出来,在科学领域的同行评议活动中也不例外。因此近年来,我对同行评议公正性的关注从评议专家的个人行为拓展到其集体行动,从评议过程的道德规范深入到制度约束,从影响公正性的内在因素扩展到外部环境,借鉴社会学和经济学理论,特别是新制度学派等的分析方法,尝试对同行评议公正性问题进行制度分析。应当说,这样的深进与科学发展和科学政策的社会性特征以及科学体制与经济体制的密切关联分不开。

-- 我在参加针对基金委同行评议政策开展的多次调研中还发现,我们已经实行的一些保证评议有效性和公正性的政策却不大为科学家所知,例如具体的回避政策和保护创新的政策等。由于外界对我们同行评议的相关情况和政策措施不太了解,甚至会引起不必要的误解。因此,我在连续几年编译和介绍美国NSF同行评议报告的基础上,认真考虑我们在收集基金委相关数据方面的可行性,又经过与局里和科学部、信息中心等部门同事的反复讨论,提议结合基金委组织同行评议工作的实际情况,争取做到定期发布同行评议报告。此提议得到了局里的支持,目前正以政策局委托任务的方式,与计划局和信息中心合作,委托科研评估专家以整理与分析2002-2005年度的评议相关数据为基础开展研究。这是一项尝试,希望此项研究预示着一个良好的开端,基金委同行评议活动及其政策工作能够从此逐步制度化。

-- 政策局的老局长吴述尧常说,"同行评议是科学基金政策研究永恒的主题。"我之所以致力于此,正是相信以同行评议为中心的研究不仅能够使科学基金政策研究更加深入,而且能够使科学政策研究呈现和保持一个独特的视角。这大概就是我从事科学基金工作十几年来最大的收获吧!

显然,许多学者与国家自然科学基金委员会和国家973计划官员对于《国家自然科学基金条例》、与《国家重点基础研究发展规划项目管理办法》,以及名目繁多的“科技创新成果”鉴定、评审条例执行的实际效果看法的反差极大。

让我们通过剖析中国《国家自然科学基金条例》与 973 计划条例及其实施情况进一步 了解这种状况在中国已经发展到何等严重的地步。

接续篇:->21、中国《国家自然科学基金条例》的致命缺陷:“同行专家评议”无法公正、客观、科学评审“挑战本学科基本理论的科学研究项目”与“交叉学科科学探索研究项目”!

作者简介:

                                                                                                                       

探索 创新 求实 自由
申请  投稿  评论

网站简介 投稿指南 特别声明

Google
 

2008.10.06张学文:2009科学原始创新研讨会筹备网站建立
2008.10.05卢化南:当官的苦恼
2008.10.05卢化南:谈谈读书的好处——我的读书心得体会
2008.10.03王昌益:[序列文章]地球演变动力学
2008.09.17冯盛才:机体的纤维状蛋白的电位波动
2008.09.28涂润生:[序列文章]电运动学推迟效应威胁相对性原理
2008.09.20凌龙庄:[序列文章]中国地震分析
2008.09.21沈宗丕等:2008年5月 12日四川省汶川8级巨大地震的漏报与反思(二)
2008.10.05马国梁:现代社会的经济运行特点、存在问题及出路
2008.10.05杨学祥:下一个7级强震2008年10月至2009年2月强潮汐时期
2008.10.05常健民:[序列文章]解析现代地质学存在的错误
2008.10.05杨升山:[序列文章]盘点狭义相对论
2008.10.05杨升山:[序列文章]物理新理论《比较物理学》
2008.10.03蔡尔诚:怎样使旱涝灾旱预测稍准一些?
2008.09.30王昌益专栏建立
2008.09.25储著军:[序列文章]神经组织的机能结构
2008.09.25储著军:[序列文章]神经系统活动理论简述