学术期刊经典论文的评价指标——经典指数

来源：论文查重 时间：2019-09-04 11:55:09

摘 要： 衡量学术期刊经典论文水平对于期刊评价具有重要意义，而这方面的论文查重评价指标比较缺乏。文章将 期刊论文分为高被引论文与一般论文，高被引论文又进一步分为经典论文与热点论文，在此基础上提出了 期刊经典指数 (Journal Classical Index, JCI)，即期刊早期论文被引频次占总被引频次的比重。基于图书馆 情报与文献学 CSSCI 期刊以及中国知网 CNKI 的引文数据研究表明：经典指数是评价学术期刊经典论文的新 指标；采用 5 年前早期论文作为经典指数的计算依据较好；经典指数与影响因子不相关；经典指数与 h 指 数呈低度正相关；学术期刊评价时需要适当选取经典指数。
1 引言
高质量学术论文根据影响力时间长短大致可以分 为两大类, 一类是热点论文, 另一类是经典论文。 所 谓热点论文就是指研究的往往是学术热点, 或者公众 关注领域高的论文, 具有影响力大, 被引频次高、 作 用时间相对短的特点。 经典论文是指影响力大、 影响 时间长、 具有引领作用的论文。 热点论文与经典论文 的最大区别在于被引的时间跨度大小, 与时间因素紧 密相关。 关于热点论文的研究成果相对丰富, 而关于 经典论文的研究相对较弱, 更多从单篇论文角度加以 研究, 极少从学术期刊视角研究其经典论文的总体水 平, 开展相关领域的研究, 可以分析不同期刊的载文特 点和风格, 对于学术期刊评价也具有一定的借鉴意义。 经典论文是学术期刊质量和水平的重要体现, 根 据被引时间长短可以大致判断期刊论文的经典水平。 以图书馆情报与文献学优秀期刊 《中国图书馆学报》 为例, 2018 年其总被引频次为 4 097 次, 这是从 1979 年恢复办刊以来迄今所有论文的被引次数。 这些被引 次数中, 2014 年—2018 年 5 年期间刊载论文的被引为 1 790 次, 占总被引频次的 43.69%, 2009 年—2018 年 10 年期间刊载论文的被引频次为 2 982 次, 占总被引 频次的 72.79%。 也就是说, 1979 年—2008 年 30 年期 间早期论文的被引频次仍然占总被引频次的 27.21％, 这些论文中除了零星引用外, 基本反映了该期刊经典论 文水平。
关于经典论文的研究, 学术界主要集中在高被引 论文研究。 由于高被引论文的被引频次能够客观地反 映论文的影响力以及在学术交流中的作用和地位, 因 此, 近年来高被引论文成为国际上普遍采用的科研水 平评价标准, 典型的就是 ESI 论文的相关研究。 陶范 认为经典论文是具有代表性和持久价值的学术文献, 各个学科都有其经典[1]。 Henk 指出高被引论文是指被 引用频次相对较高, 被引用的周期相对较长的学术论 文[2]。 Bharathi 指出科技论文保持较长时间的被引用, 而不是发表后前两年被引用能够说明论文的重要性。 Blessinger 等对 20 世纪后期图书情报领域 36 篇有重大 学术影响力的高被引文献进行内容分析, 研究了这些 文献的研究主题分布、 期刊分布、 作者特征等[4]。 张垒研究发现, 作者影响力越高, 论文越可能高被引； 高 被引论文首次被引时间较快, 高被引论文倾向于引用 高影响力论文[5]。 王宁、 张以民等提出要关注高被引论 文与低被引论文的相关研究, 从而提高学术期刊影响 力。 高志、 张志强动态评价科学家个人学术区分热点 论文与经典论文影响力, 探索研究科学家个人学术影 响力时序曲线的意义[7]。 吴明智、 高硕检索 2004 年— 2014 年农业科学领域的研究文献, 用文献量、 被引频 次和篇均被引频次 3 个指标对农业科学研究的国家地 区、 机构、 作者、 来源期刊以及高被引论文等进行统 计分析[8]。 俞立平以 《科学学研究》 为例, 发现 h 指数 随着时间推延, 呈现出成长曲线的特征[9]。
热点论文与经典论文都具有被引频次和影响力较 高的特点, 所以计算影响因子的时间跨度首先成为学 术界关注的问题。 Martinez 等指出, 随着时间的推延, 论文被阅读次数越多, 被引用的机率就越大, 影响因 子作为论文价值的体现, 因学科领域、 分析角度及统 计方法不同而存在差异[10]。 Seglen 对计算影响因子应用 2 年引证时间窗口提出异议, 认为 2 年引证时间太短, 缺乏统计学上的合理性。 Wang 等统计 Web of Science 数据库中图书情报学 5 种期刊发表论文的使用次数, 发现学者更倾向于使用新文献[12]。 俞立平、 王作功等 指出, 在期刊评价中, 评价时间窗口统一但评价对象 时间窗口并不统一, 这种现象称为期刊评价的时间异 质性[13]。 刘自强、 王效岳等提出一种基于时间序列模 型的研究热点评价与预测方法, 利用关键词词频排序、 热点关键词群构建和时间序列模型分析等方法, 对竞 争情报领域 10 年的论文进行了分析[14]。
关于被引峰值的时间间隔及由此产生的篇均被引 频次与其他文献计量指标的关系, Garfield 对 JCR 中影 响因子排名前 100 和 101～200 的期刊分别计算 7 年和 15 年影响因子, 并与传统影响因子排序进行比较, 发 现他们之间排序是一致的[15]。 顾欢、 盛丽娜以 SSCI 收 录的信息科学和图书馆学期刊为例, 计算各刊 2015 年 2～ 10 引证时间窗口的年度 h 指数和累积 h 指数, 分析 各 h 指数间的相关性[16]。 付中静基于期刊和论文分析 Web of Science 数据库中不同引证时间窗口论文使用次 数与被引频次之间的关系以及量引背离现象 [17]。 方红 玲以 2016 年 JCR 眼科学期刊为例, 采用 Spearman 相关系数比较不同引证时间窗口的影响因子百分位对期 刊的评价效力[18]。 盖双双、 刘雪立研究发现, 不同月 份发表的论文前几年其被引频次存在明显差异, 但随 着时间的推移, 论文被引频次趋于一致[19]。
关 于 影响 因子 与 5 年 影 响 因 子 的 评 价 属 性 , Schubert 研究发现多数期刊的 5 年影响因子大于 2 年影 响因子, 进一步推测多数期刊长期影响因子大于短期 影响因子[20]。 Pan 发现论文发表后 5 年被引次数指数下 降, 认为采用 5 年影响因子评价比较合适[21]。 Jacso 比 较 5 年影响因子与 2 年影响因子评价期刊学术影响力 的可信度, 认为 5 年影响因子更公正 [22]。 Campanario 对比不同学科 5 年影响因子与 2 年影响因子的大小, 发现 72%的期刊 5 年影响因子大于 2 年影响因子 [23]。 Vanclay 认为 5 年影响因子是传统 2 年影响因子的必要 补充, 二者的区别仅仅是引证时间范围或计算引证时 间窗口不同[24]。
对于学术期刊而言, 被引半衰期长短主要是反映 期刊时效性的一个指标, 一定程度也能反映经典论文 水平。 白云认为半衰期相对期刊个体而言并没有实际 意义, 相对同一学科的同一专业研究领域, 半衰期对 期刊具有一定的学术评价作用, 在人文社会学领域评 价期刊学术质量过程中被引半衰期指标与期刊的学术 影响度没有明显的相关性, 人文社会科学期刊的被引 半衰期集中在 3 至 5 年之间[25]。 于光、 郭蕊研究发现, 当某期刊出版延时增加时, 将不同程度地延长互引期 刊群中期刊的被引半衰期, 其中互引关系密切的期刊 受影响较大[26]。
从现有的研究看, 关于热点论文与高被引论文的 研究成果比较丰富, 包括它们的界定、 特征、 计算其 影响力的时间跨度、 不同时间跨度影响因子之间的关 系等等。 判断经典论文的重要依据是被引的时间跨度, 这方面的研究虽然较多, 但很少从经典论文角度进行 研究。 学术界普遍认为论文被引峰值的滞后时间对计 算影响因子指标非常重要, 并且认为期刊评价时 5 年 影响因子要大于 2 年影响因子。 被引半衰期主要是反 映学术期刊时效性的指标, 关于其与经典论文的关系 研究比较薄弱。 总体上, 在以下几个方面有待进一步 深入研究：
第一, 关于经典论文的界定, 学术界的研究并不充分, 更多从研究内容角度加以界定, 较少从文献计 量指标的特征角度加以界定。
第二, 现有研究更多关注高被引论文与热点论文, 强调论文的被引频次高低, 较少从经典论文即高被引 频次与较长被引时间相结合的角度来开展研究。
第三, 学术期刊经典论文水平缺乏评价的手段, 需要开展研究, 比如设计出期刊经典指数, 并分析其 统计学特征。
第四, 学术期刊经典指数与其他文献计量指标的 关系, 对经典指数在评价中的应用非常重要, 也有必 要进行研究。
文章以图书馆情报与文献学 CSSCI 期刊为例, 基 于中国知网 CNKI 的引文数据库, 在分析学术期刊论 文被引特征的基础上, 提出期刊经典指数评价指标, 并对其统计学特征及与其他文献计量指标的关系进行 深度分析, 最后对其适用范围进行总结和讨论。
2 期刊经典指数的原理
从文献计量指标的特征大致可以判断经典论文。 论文之所以成为经典, 原因是多方面的。 比如建立新 的理论, 开创新的学科的论文； 或者是开创新的富有 潜力的领域, 引领学科发展的论文； 或者是开创新的 研究方法, 并被广泛引用的论文, 因为重要的研究方 法类论文可以获得更为长久的引用。
文章试图将高被引论文进行进一步分类, 以区分 经典论文 (图 1)。 根据被引频次的高低, 学术论文可 分为高被引论文与普通论文两大类, 当然这种确认标 准是相对的。 对于高被引论文, 又可以根据被引时间 长短将其进一步分类, 凡是被引时间较长的, 称为经 典论文； 凡是被引时间较短的, 称为热点论文。
图 2 可以进一步看出经典论文与热点论文的区别, 从文献计量学角度, 基于论文被引频次可以大致进行区分。 热点论文与经典论文的共同特点是都具有较高 的被引频次, 但是热点论文的被引频次衰减相对较快, 时间跨度总体较短, 而经典论文的被引频次衰减相对 较慢, 时间跨度总体较长, 如图 2 所示。
区分热点论文与经典论文的重要标准是被引时间 跨度不同。 经典论文时间跨度较长, 而热点论文时间 跨度较短。 有一点可以肯定的是, 经典论文的时间阈 值选择依据是必须大于被引峰值, 这是其最短时间极 限, 因为热点论文在没有到达被引峰值前其被引次数 还在加速上升, 不能将其称为经典论文。 由于学科特 点不同、 期刊定位不同、 论文内容等因素的影响, 不 同期刊论文被引峰值的到来时间是不同的。 盛丽娜以 SSCI 信息科学和图书馆学期刊为对象, 发现被引高峰 到来的时间平均为 6.25 年 [27]。 刘雪立、 盖双双等以 SCI 收录的 28 种眼科学源期刊为例, 比较 2 年 ~ 6 年 不同引证时间窗口的影响因子, 并与同行评议得分进行 相关分析, 认为 3 年 ~ 4 年时间窗口评价较佳[28]。 在评价学术期刊经典指数时, 必须选择一个合适 的时间阈值, 或者时最短的时间跨度。 时间跨度选择 过短, 一方面很难说明论文就是经典论文； 另一方面 期刊的部分论文可能尚未到达被引峰值。 时间跨度选 择太长, 即使经典论文, 被引次数可能已经较小, 此 外还有非经典论文零星引用的影响, 也不合适。 时间 跨度选择还与期刊的档次和质量相关, 高质量期刊论 文的平均被引峰值到达时间相对较长, 而一般期刊论 文的平均被引峰值到达时间相对短一些。
文章提出学术期刊经典指数的概念, 所谓经典指 数, 就是学术期刊在统计当年早期发表论文的被引频 次占总被引频次的比重。 这里早期的判断标准就是前 文讲到的时间阈值。 假设某期刊创刊于 1980 年, 统计当年为 2018 年, 时间阈值为 8 年, 那该期刊 2018 年 的经典指数就是 1980 年—2010 年期间发表的论文在 2018 年的被引频次占 2018 年总引频次的比重。 经典指 数 (Journal Classic Index, JCI) 用公式表示就是：
公式 (1) 中, i 为论文被引年度, t0 表示期刊创刊 年度, tm 表示经典论文年度时间阈值, tn 为统计当年, Ci 为 i 年的被引次数, 分母就是总被引频次 TC。 关于 tm 的确定, 可以综合以下两种方法进行： 第 一种方法是借鉴被引半衰期的计算原理, 用学科期刊 的平均被引半衰期来进行界定, 凡是距统计年度大于 tm 年的论文, 全部作为经典论文统计。 第二种方法是 采用聚类分析, 根据历年论文累计被引频次进行分类, 将论文分为两类, 看分类的时间切换点。 需要说明的是, 经典指数计算时的数据并非就是 经典论文数据。 一些非经典论文可能也有长期零星引 用问题, 但是从学术期刊的角度, 只要早期论文能够 被引, 恰恰说明了该论文有闪光点和学术价值, 所以 同样能够反映期刊的经典价值。
另外计算期刊经典指数时, 真正的经典论文被引 往往是连续的, 即使该论文发表时间较长, 每年均有 引用, 但也有一些论文, 可能部分年度出现零被引, 但这并不影响经典指数的计算, 如果统计当年零被引, 那么计算经典指数时, 该论文并没有纳入计算范围。
3 数据来源
文章以图书馆情报与文献学 20 种 CSSCI 期刊为 例, 基于中国知网 CNKI 的引文数据库进行研究。 我 国的学术期刊, 绝大多数是改革开放以来复刊或创刊 的, 对于图书馆情报与文献学期刊而言, 载文量数据 最早从 1979 年开始, 统计年度为 2018 年, 即被引频 次数据均为 2018 年数据。 为了确定时间阈值以判断早 期论文并计算经典指数, 需要计算期刊创刊以来至某 年度的所有论文在 2018 年的累计被引频次。 根据现有 的文献, 期刊被引峰值到达时间大致在 2 至 7 年之间, 将该年度放大一倍即采用 14 年来估计时间阈值是可行的, 因为期刊的被引半衰期一般不会超过 10 年, 14 年 有足够的余量空间, 或者以这 14 年中的某一年作为判 断早期论文的依据是没有问题的。
文章统计数据的时间跨度从 2005 年开始, 到 2018 年就是 14 年。 分别统计出各期刊创刊以来到 2005 年— 2018 年期间某年发表论文的累计被引频次, 根据该数据 特征来进行进一步的统计分析, 原始数据如表 1 所示。
4 实证结果
4.1 经典指数的时间阈值确定 学科所有期刊汇总后历年累计被引频次如图 3 所 示。 2018 年的累计被引频次就是期刊创刊以来到 2018 年所有论文在 2018 年的被引频次, 由于 2018 年是统 计年度, 所以 2018 年的累计被引频次就是总被引频 次。 其他年度的累计被引频次是期刊创刊以来到该年 发表的所有论文在 2018 年的被引频次。 很明显累计被 引频次是单调递减的。
首先估计一下被引半衰期, 2018 年总被引频次为 85 367 次, 其一半为 42 684 次, 累计被引频次超过 42 684 次的年度是 2014 年, 从这个角度, 计算经典指 数的时间可以确定为 5 年。 也就是说, 2013 年之前的 论文可以界定为经典论文, 这样 2013 年及以前的论文 在 2018 年被引频次占总被引频次的比重就是经典指数。 学科所有期刊累计被引频次的聚类分析如图 4 所 示, 采用系统聚类中的变量聚类, 时间作为变量处理, 算法为组间距离最大。 可以看出, 聚类分析分为两大 类, 2015 年—2018 年作为一类, 其他时间作为一类, 这样时间阈值就是 4 年, 要短于学科期刊平均被引半 衰期 5 年。
综合学科期刊平均被引半衰期与聚类分析的结果, 考虑到经典论文应该适当增加旧论文的比重, 应该在 这两种时间跨度结果中选取极大值, 因此文章采用 5 年时间阈值进行计算, 和被引半衰期的时间跨度一致。
4.2 经典指数计算结果
经典指数的计算结果如表 2 所示, 为了便于后续分析, 表 2 还给出了 h 指数与影响因子数据。 从经典 指数的结果排序看, 排在前面的期刊是 《档案学通 讯》、 《情报学报》、 《数据分析与知识发现》、 《中国 图书馆学报》、 《大学图书馆学报》 等, 这些期刊大致 具有以下特点：
第一, 《档案学通讯》 之所以排在第一, 这是因 为其被引半衰期较长, 知识更新相对较慢。 该期刊的 总被引频次为 2 484, 其一半为 1 242 次, 2012 年的累 计被引频次是 1 458, 超过总被引频次的一半, 而 2011 年的累计被引频次为 1 233 次, 也就是说, 《档案学通 讯》 的被引半衰期长达 7 年。 因此, 如果按照 2011 的 累计被引频次计算经典指数, 其值为 0.496, 要远远小于按照 2013 年计算经典指数的 0.658。
第二, 优秀的图书馆情报与文献学 期刊经典指数较高, 这些期刊是 《情报 学报》、 《中国图书馆学报》、 《大学图 书馆学报》 等。
第三, 《数据分析与知识发现》 侧 重情报学方法的研究, 根据前文分析, 方法创新类期刊拥有较长的被引周期, 其经典指数较高。
4.3 经典指数的统计学特征分析
经典指数的统计学特征如图 5 所 示。 极大值为 0.658, 极小值为 0.376, 均值为 0.481, 离散系数为 0.152, 总体 波动不大。 Jarque-Bera 检验值为 1.688, p 值为 0.430, 不能拒绝正态分布的原 假设, 也就是说, 经典指数服从正态分布。 在文献计 量指标中, 许多均不服从正态分布[29-30], 因此经典指数 在这方面有独到的优点, 指标服从正态分布更符合人 们的打分习惯。
4.4 经典指数与其他文献计量指标的关系分析
下面分析经典指数与影响因子及 h 指数的关系。 传统文献计量指标中, 以影响因子与 h 指数的影响力 较大, 影响因子虽然是相对指标, 但总体上侧重论文 影响力的数量, 而 h 指数则兼顾论文影响力的数量与 质量, 从这两个角度分析可以防止多重共线性, 也可以 分析经典指数的特点。 采用多元回归分析, 结果如下：
从回归结果看, 影响因子的回归系数为－0.133, 但没有通过统计检验, 说明影响因子与经典指数不相 关。 h 指数与经典指数正相关 (图 6), 回归系数为 0.358, 在 10%的水平上通过了统计检验, 说明 h 指数 每提高 1%, 会导致经典指数提高 0.358%。 回归的拟 合优度 R2 总体不高, 为 0.198, 说明 h 指数只能解释经典指数的 19.8%, 经典指数 还能提供更多的除了 h 指数 以外的信息, 这从指标设计 的角度是值得肯定的。
影响因子、 h 指数与经典 指数的关系可以从图 7 进一 步分析。 影响因子与经典指 数不相关的原因是, 经典指 数是期刊创刊以来至统计年 度前 5 年的早期论文在统计 当年的被引频次占总被引频次的比重, 而影响因子是 期刊过去两年发表的论文在统计当年的篇均被引频次, 研究对象的时间跨度完全不同, 两者在时间上并没有 重合部分。 此外指标的内涵也完全不一样, 经典指数 更侧重经典论文的影响力比重, 而影响因子更侧重最 近两年新论文的篇均被引次数。
h 指数与经典指数相关的原因是, 从内涵上, h 指 数更侧重论文的数量与质量, 对于质量可以从两个角度进行分析, 一个短期研究热点的高被引, 二是经典 论文长期高被引。 而经典指数正是从长期高被引的角 度来进行分析的, 这也部分解释了拟合优度不高的原 因。 从研究对象的时间跨度看, h 指数是期刊创刊以来 到统计年度, 而经典指数是期刊创刊以来到统计年度 的前 5 年, 两者有较大的重合区间。
5 结论
(1) 经典指数是评价期刊经典论文的新指标
文章将高被引论文分为短期高被引论文与长期高 被引论文, 短期高被引论文又称为热点论文, 长期高 被引论文又称为经典论文, 在此基础上, 提出了经典 指数的概念, 用来衡量学术期刊长期高被引论文的比 重。 文章认为可以采用被引半衰期的时间长度作为经 典指数计算的时间依据。 这样经典指数就是期刊早期 论文在统计当年的被引频次占总被引频次的比重, 早 期的判断依据可采用学科期刊的平均被引半衰期确定, 早期就是统计当年减去被引半衰期。
文章研究发现, 经典指数服从正态分布, 比较适 合进行学术期刊评价。 优秀图书馆情报学期刊如 《情 报学报》、 《中国图书馆学报》、 《大学图书馆学报》拥有较高的经典指数； 情报方法类期刊如 《数据分析 与知识发现》 经典指数也较高； 档案学期刊由于被引 半衰期较长, 经典指数相对较高。
(2) 采用 5 年前论文作为经典指数的计算依据较 好
由于不同学科的平均被引半衰期不同, 但经典指 数的计算应该参照影响因子的做法, 界定一个固定的 时间跨度。 建议以 5 年为依据, 这和 5 年影响因子的 计算有些类似, 虽然每种期刊具体的时间跨度也不相 同。 这样经典指数就是期刊 5 年前发表论文的被引次 数占总被引频次的比重, 各学科可采用同样的标准计 算经典指数。
(3) 经典指数与影响因子不相关
结合图书馆情报与文献学 CSSCI 期刊的实证研究, 文章发现经典指数与影响因子不相关。 这是因为影响 因子重在研究期刊过去两年发表论文的平均影响力, 侧重短期研究。 而经典指数侧重长期经典论文的影响 力。 两者评价期刊的视角不同, 均是对学术期刊有意 义的评价。
(4) 经典指数与 h 指数呈低度正相关
文章研究发现, 经典指数与 h 指数呈正相关, 但 拟合优度不高。 从评价的时间跨度角度, h 指数比经典 指数计算的时间跨度长。 从评价视角的角度, h 指数侧 重热点论文与经典论文评价, 而经典指数仅侧重经典 论文的评价。
(5) 学术期刊评价时需要适当选取经典指数
在学术期刊评价中, 尚缺乏从经典论文角度的评 价指标, 文章提出的经典指数在这方面进行了拓展。 经典论文要么开拓了新的理论或研究领域, 要么创新 或提出了新的研究方法, 对于人类的知识进步具有重 要意义。 学术期刊经典指数反映了经典论文的比重, 是学术期刊质量的重要体现, 因此有必要在学术期刊 评价中选取经典指数指标。
当然由于学科不同, 实证研究结果也许存在差异, 但文章提出的思想与框架为经典指数的设计与优化做 了铺垫, 希望加强后续研究, 进一步完善经典指数。

相关文章：试论博物馆陈列展览的学术性与趣味性