接连整理了两天的审稿意见，看了大概1800份审稿意见，虽然不多，但还是满感慨的，接下来从审稿心态、审稿意见本身、审稿指标、以及如何建立合适（相对公平的）审稿方法等方面阐述下自己的观点。
最初做这个工作的时候是一个投稿人的心态，如果是自己投的文章、看着别人反馈回来的审稿意见，以及给自己的评分，无论是好坏内心都会有波澜。如果评审意见比较中肯，打分比较高，内心肯定特别开心；如果是评审意见比较差强人意，打分较低，甚至建议拒绝，内心肯定是特别伤心，一篇文章对于审稿人管理者来说可能只是一个统计数据，但是站在投稿人的角度，对他们来说还是蛮重要的，特别是该篇文章如果关系到他们的毕业，特别是一起投稿的小伙伴们都中了只有他没中。当时的想法是特别希望审稿人能够公平对待，合理严谨的打分和给出评审意见。
当真正看到几百份的时候，虽然内心依然不改初心，不改当时内心的期待，但是此时看问题的角度多了一重。站在大会组织者的角度，希望规范审稿人的意见格式以及书写规则。当时从来没想过审稿人会出现不负责任的行为，应为对于一个会议来说，能够审稿的人至少都是博士生、硕士生导师之类的，如果出现不负责任的行为，同行、大会的组织者该怎么看待这个所谓的审稿专家啊，这可是一个人的尊严和荣誉。但是确实看到了一些没那么负责任的审稿意见，出现的问题有不写审稿意见（是不是可以理解为没看文章），审稿意见出现一些扯犊子的话（类似于抱歉），审稿意见一大段话没有一个断句（没有条理，难道一个专家的水平仅限于此）等等。问题的出现不仅仅是一个人的原因，希望各方都能够严谨认真。对于投稿者来说，加强写作规范，语言条理，增强可读性；对于审稿人来说，严禁对待，站在写作者的角度思考问题，如果是自己的成果得不到尊重自己会怎样；对于大会组织者来说，增强管理规范、出台合理措施、提高门槛。各方的努力力求保证文章评审的公平、公正、公开。
审稿意见错误主要集中在几个方面。第一是文章的结构，就是指文章的内在逻辑关系。简单地讲就是文章的引言部分文献回顾是否全面，是否层层铺垫提出问题，是否在引言末尾概括本文内容框架。引言过后就是正文部分。这部分常用的就三种方法：解析理论，实验，数值计算或者再加上一个实验验证。这几部分的内在逻辑，也就是这几种方法是个什么关系，文章提出要做的内容，最终验证的时候是否充分。
第二个是专业问题的探讨，对于文章所做的部分，涉及到的专业内容，审稿人会站在自己的角度提出问题，文章的意义及理论贡献；文章所涉及到的内容论证是否严谨、充实，对于没那么严谨的，审稿人会提出自己的见解。有的审稿人还会给出建议，这个对于投稿人来说是非常好的，可以帮助自己有效的提高。
第三个就涉及到文章的可读性。文章句子是否存在语法问题句子，句子是否连贯；图片是否清晰，文章中提到的图片标号是否和该图片搭配对应起来；段落分配是否合理等等。
刚开始没想过审稿指标后面还隐藏如此多的道理，本来以为只是规定俗称的。之所以能查到指标后面隐藏的信息以及实验验证，还是应为自己在查看审稿意见时会怀疑指标的合理性，内容指向不清晰，让审稿人评判等问题。发现查阅了一些资料之后这是相对公平的发法，后面有几代人的详细数据论证。
1.论文标准的评审研究
关于学术论文的评审标准,目前国内外学者进行了比较广泛的研究。概括而言,已有研究主要从评审结果、评审过程和评审主体三个视角予以展开。第一,从评审结果视角研究评审标准。根据结果的好坏,该类研究又可分为两小类。第一类是从被拒的学术论文中反推或归纳出评审标准。例如,Fischer认为投稿人应理解评审专家眼中的高质量稿件标准,并采取相应的策略。作者对美国期刊JMI过去13年遭拒的稿件及评审意见进行了归纳,结果表明论文评审标准的重要性排序(从大到小)依次为:理论贡献(原始的)、方法的准确性、概念的准确性、结果的讨论、长度 /贡献比率、相关文献的处理、理论贡献(修改后)、逻辑结构、研究目的的清晰性、可读性与研究主题的意义等 11项。导致论文未能通过内审的原因源于不符合杂志要求、论文粗制滥造、文献陈旧、未达到应有的学术水平与应用价值。Bonjean对社科类期刊的 600多份稿件进行追踪发现,拒稿的原因依次为:贡献不重要、研究方法的缺陷、理论基础的问题、随意的编辑与论证的不足。Townsend等也指出,导致论文需要修改的原因包括:缺乏研究深度、写作的缺陷与无应用价值。与第一类的反推法不同,第二类则主要从优秀的研究成果应该具备什么样的结果或特点来探讨评审标准。Dixon认为稿件评审最重要的标准在于论文的分析或结果是否让人们不再一味相信现有的解释、从而拓展新方向上的视野或形成崭新的理论思想与研究方法。王国兴认为研究成果的价值应包含学术价值、技术价值与经济价值三个方面,其中学术价值应包括新颖性、理论性、效应性和实用性,技术价值包括先进性、可靠性、难易性与适应性,经济价值包括投入成本、直接效益产量价格等。任火认为评价科学论文的学术价值应基于问题性、前沿性、实验性与逻辑性四方面原则。此外,陶立方等对国内 70多家学报的审稿单进行归纳发现,“选题的新颖性”,“理论依据的正确性”以及“题意的确切”是决定论文是否被录用的重要因素。
第二,从评审过程视角研究评审标准。目前,论文评审一般实行三级审稿制,即初审、复审与终审。此制度集编辑、专家、主编意见于一体,能较公正评价论文。关开澄指出初审的内容包括:类别审查、政治审查、论文摘要、引言、参考文献与其它明显缺项,专家审查的内容包括:创新性、学术性与保密性、科学性、实用性、可靠性、再现性、准确性与数学公式或模型是否正确等。韦翠芳则认为在评审论文时应对论文的科学意义、学术水平、实用价值等七项进行评价打分和汇总。
第三,从评审主体视角研究评审标准。由于论文评审工作是由编辑及同行专家等评审主体完成的,他们的经验、认知和偏好也会对评审标准形成一定的影响, 并进而成为一种隐性的标准。Patterson＆Bailar、Over等学者认为,评审主体在评判论文主题、论文质量、论文的创新性、论文长度等方面拥有优越性,因此评审主体的价值取向与主观认知就决定了论文的评价标准。Starbuck 也认为,分析评审主体如何看待稿件应从他们主观认知对误差的想象开始。Stuart在一项针对美国核心期刊评审专家的态度、观点与价值观的调查中发现,接近50%的评审专家不使用正式的评审表, 他们往往将主题的有效性与创造性认为是评审稿件时最关键的因素。不过, Smith 、张揆一都指出,评审主体应尽量减少在评审过程中的主观性, 而应该以客观的标准和科学的态度来评价学术成果。
2.评审存在的问题
2.1 评审标准和质量参差不齐
在所收集的评审表格中,尽管每份表格都阐释了该期刊论文的评审标准,但这些标准的详略程度存在差别,进而导致评审的质量参差不齐。有的表格非常全面地列出了论文评审的标准和内容,对论文的选题、方法、文字表达、图表格式等均有涉及。根据这些标准,评审者能对论文作出更全面、更准确的评价,而有的表格仅仅列出了少数几项评审标准,对标准的阐述也只是寥寥数语,甚至有些表达容易引起误解,导致评审者无法完全准确地对论文的质量予以评价。
2.2 评审指标的量化不够科学
通过对148份评审表的阅读发现,在相当多的评审表中,每一个指标下选项的设计缺乏科学性,这不仅影响到了评审结果的信度和效度,而且给评审人的评审工作增加了难度。该问题具体表现在以下几个方面:
第一,过多使用抽象用语。我国《科学技术评价办法 (试行) 》第 51条明确指出评审标准不得滥用“国内先进” 、“国内首创”、“国际领先”、“国际先进” 、“填补空白”等抽象用语。然而,通过对本研究148份评审表的阅读发现, 45.95%的评审表中在“论文学术水平”这个指标下包含了以上用语。
第二,选项不能准确代表指标应该反映的内容。例如,一大学学报的评审表在方法一栏下的四个选项为: (1)成法套用; (2)有所改进; (3)几成法巧妙结合; (4)有独创性。显然,评审人在阅读完大部分论文之后,很难对阅读过论文的研究方法按照上面的四个选项进行评审。
第三,选项的区间不呈连续变化,而是无规律的离散性变化。一学术期刊在文字表达一栏的三个选项是: (1)含糊费解; (2)繁琐; (3)流畅通顺。这些选项的设置过于随意,不满足测量学或评价学的基本原理。另一学术期刊在实际应用价值一栏下的四个选项是: (1)有重要价值; (2)有参考价值; (3)应用价值低; (4)无应用价值。这种选项的设置也未呈现规律的变化。一般而言,选项应该按李克特的五点或七点制设置。例如,在评价论文的“应用价值”这个选项时,应设置为: (1)应用价值很高; (2)应用价值高; (3)应用价值一般; (4)应用价值低;(5)应用价值很低。
第四,选项太模糊,评审人很难做出选择。例 如,一个学术期刊在文题一栏下的五个选项为: (1)切题; (2)不明确; (3)过长; (4)过大; (5)文题不符。这里有太多的不确定性和模糊性,对文题及各选项的理解存在一定的困难。
第五,评审的标准不统一。即使采用同样的指标,如创新性或研究方法,不同的评审表选项是大不一样的。我们从理、工、文史类三种学科中各选择了一种典型期刊,列出了三种期刊在评价创新性时的具体指标,如表4所示。从该表中不难看出,不同期刊对如何评价“创新性”这个指标也存在一定的差异,期刊 A既关注创造性的内容又关注创新的程度,而期刊 B和 C只关注了创新的程度,但两者评价的方式还是存在一定的区别。
2.3 评审指标多寡不一
从图 1中我们可以看出,我国期刊评审指标的多寡很不相同,最少的只有1项评审指标,而最多的有22项评审指标。一般来说,评价指标过多或过少都不好。白秀英也认为考核指标的数量要适中,不宜太少也不宜太多,通常以3～5个指标为宜。评审指标太少,可能所选的指标缺乏足够的代表性, 容易产生片面性,同时也不能反映不同论文之间的差异性。但如果指标太多,不仅增加了评审人的脑力负荷,也稀释了各个指标的作用,反而增加了对论文水平判断的困难。
2.4 编辑与专家的指标评审分工模糊
当前我国期刊大多采用三级评审的方式,即编辑初审、专家外审和主编终审。由于三者熟悉的领域各有不同,那么他们在论文评审过程中关注的内容也应该有所差异,在论文的评审过程中三者的职责应适度分配。但从目前的调查来看,在评审表中并没有对论文的评审指标进行明确的划分,进而造成编辑与专家的角色错位现象出现。例如,一期刊在外审表中,不仅要求外审专家对文章的学术性进行评价,而且还要求他们对一些非学术性的指标予以审查,而对这些指标的评审已经超出了外审专家的知识范围。
2.5 不同学科评价指标的针对性不强
由于不同学科论文的性质和内容分存在较大的差异,如果采用同一评价标准,往往难以客观、准确地反映该论文的真实水平。叶蓬认为,在论文评审时,我们应以创新性和应用价值指标为核心,根据不同类别和性质的成果确定对应的指标及权重。但遗憾的是,在我国期刊的论文评审中,几乎没有对论文的类别和性质进行区分,也很少针对自身学科的特点设置相对应的指标。我们从本次的调查中发现,无论是哪种期刊,都要求对论文的理论贡献、实用性、方法科学性、可读性等指标进行评价,但对于不同类别的论文这些指标的重要程度是存在差异的。例如,与理论性论文相比,应用性论文的理论贡献就显得不是非常重要。
3.我国学术论文评审指标的选取与评价
3.1 评审指标数量
在评审指标数量的选择上,应坚持两个原则。第一个原则是定量与定性相结合的原则。根据目的的不同,绩效评价可分为评估型目的和发展型目的。在论文评审表格中,定量指标主要用于评估型目的, 即评价论文水平的高低,为决定论文是否录用提供直接的依据;定性指标则用于发展型目的,为论文修改提供方向和具体的意见。目前在国内,无论是编辑还是评审人,对定性评价的关注都还不够。国内多数期刊对论文的定性反馈比较肤浅,这与国外高度重视定性评价的做法形成了巨大的反差。
第二个是 1 + N原则。对绩效评估的研究结果表明,当对绩效作决策时,一个评价指标更好,当找绩效原因时,多指标更好。在评审一篇论文时,我们既在决定一篇论文是否应该被录用,同时也要指出它被录取的原因,因此评审指标应该采用 1 + N原则,其中, 1个指标是做决策,即决定该论文是否被录用或需要修改, N个指标是找原因,即指出该论文为什么好或不好,为决策提供具体的依据。如上所述,我国目前的学术论文评审指标存在多寡不一的现象。那么,究竟选择多少个指标合适呢? 综合各方面的考虑,我们认为3到6个指标比较合适。从图 1中的折线图中可以看出,评审指标在3至6之间的样本数量要明显多于其他样本,超过了总体样本的50%,这说明该指标数量得到了多数期刊的认可,这也与学者白秀英对一般考核指标数量的建议比较接近。当论文评审的指标设置在 3至 6这个区间时,既能用少量的关键性要素来决定论文的总体特征,又不至于增加评审人的脑力负荷,比较适合操作。
3.2 评审指标内容
在论文的评价过程中,评审应根据论文具体性质和特点的不同进行分类评价。对于基础类研究, 由于其主要关注的是理论性工作,因此对此类论文的评审要更加注重其理论价值及创新性,关键指标包括:
(1)科学性:稿件内容是否符合客观实际,反映事物的本质与内在规律,表现为概念、定义、论点是否正确、论据是否充分、实验材料、数据与结果是否可靠等;
(2)创新性。论文是否在某一学科领域有新发现、新观点,而非简单重复他人的研究;
(3)研究价值:学术价值是评价论文质量的最终衡量标准,表现为发现某专业领域的主流、规律与脉络,找出其中存在的问题和空白,不断促进学术领域的发展;
(4)研究方法:研究采取的试验设计、数据处理等研究方法对于保证研究的客观性起着至关重要的作用。
对于应用类研究,由于其具有明确的、特定的应用目的,在这类论文的评审中需强调其应用价值,关键指标包括:
(1)实用性:应用类研究一般都是针对特定的实际目的或目标开展的,这类研究的成果要能应用到实际工作中去;
(2)研究价值:由于应用类研究大多源于当前科学技术发展领域的热点或难点问题,旨在提出相应的对策与解决措施,因此论文的经济与社会价值是衡量论文水平的重要指标;
(3) 创新性:应用类研究的创新性不是体现在理论的贡献上,而是体现在对解决实际困难的新方法、新途径上;
(4)研究方法:科学的、合理的研究方法能确保研究成果的准确性,提高成果的实际应用价值。
3.3 评审指标评分方法
为了减小主观判断与客观标准之间的偏差,评审指标应进行量化。目前,评审指标所采取的评分方式较为凌乱。大体上,评审样表显示指标的评分主要采用 3、4与 5分制量表,该区间段比例达到91.54% 。笔者认为,论文的评审指标适宜采用五分制李克特量表。目前常用的三种量表分别是瑟斯顿量表,李克特量表和格特曼量表。相对于瑟斯顿量表的严格编制要求和格特曼量表在实际中难以满足的条件,李克特量表由于易于编制和较高的信度,成为应用最为广泛的一种量表形式。常见的李克特量表4点制、5点制、6点制、7点制、9点制甚至10点制,研究者们已对这些评审量表的等级数进行了探讨,并提出了不同的意见与看法。例如 Jensen和T ndering通过比较 2点、4点和 30点量表,发现 4点量表可以得到最好的结果,作者同时也指出被访者在判断选项时所花费的时间与量表等级数正相关。Bending比较了 3、5、7、9与 11点量表后认为应该使用 9点量表。另外,一些研究者认为内部一致性与量表等级数无关。通过市场调查的满意度研究,李育辉等则指出不同李克特量表的应用不会直接给统计结果带来明显差异,但是量表等级越多鉴别力就越高。根据上述研究成果,笔者推荐在论文评审时采用 5点或 7点制,这一方面不会因等级太多而增加评审人的评审负担,另一方面在于现有的实证研究大多采用了 5点制或 7点制,这表明该等级已经具有了较强的鉴别力。以李克特 5点制量表为例,在评价一篇学术论文的“创新性“指标时,应设置为: ( 1)创新性很低或完全没有创新性; ( 2)创新性较低; ( 3)创新性一般; ( 4)创新性较高; ( 5)创新性很高。
论文标准的评审研究摘自与廖建桥论文《我国学术论文评审标准研究》。
如何建立合适的审稿方法是本人的一点思想感悟，如有雷同，纯属巧合。
1.审阅文章时隐去投稿人姓名，对于学术论文来说，审阅文章时不仅仅要隐去作者姓名，还要隐去致谢，以及学术成果，在不知道投稿人姓名时可以较大程度上保证公平性（至少不会应为人情、面子而影响主观感受）
2.建立一套审稿人评审打分体系。审阅人对自己审阅的文章负责任，若存在不当情况，会在评审体系中减分，该体系的目的就是让审稿人对自己负责的部分负责任，若分数较低，可能会影响声誉。
3.关注投稿人反馈意见。
