針對北美研究機構的一項調查發現，40% 的研究密集型大學在其考評文件中提到了有爭議的指標——影響因子。
期刊影響因子指「期刊前兩年發表的論文被引用總次數除以該期刊在這兩年內發表的論文總數」。影響因子現已成為國際上通用的期刊評價指標，但是用影響因子判斷一項研究的重要性，甚至進而評判研究者的科研能力，是科學的做法嗎？
影響因子是期刊所有論文引用量的平均數，它無法體現每一項研究的引用情況。因此高影響因子的期刊表示它有很多引用量高的文章，但無法表示每項研究都是高引用的。
近年來，眾多學者、科研人員批評以影響因子來進行學術評估的做法，認為這是不公平的。此外，很多大學教師也在思考如何權衡科研和教學，僅把科研作為員工考核、晉升等的主要標準也是不公平的，考核應該考慮到研究者在科研之外的貢獻。
然而，目前眾多研究院所仍把影響因子作為學術評估和職位晉升的重要指標。對北美機構的一項調查發現，幾乎一半的研究密集型大學會在決定人員晉升時考慮期刊影響因子。
根據一項對美國和加拿大 129 家機構的 800 多份文件的調查，大約 40% 注重科研的機構在考評、晉升和任期文件（RPT document）中提及影響因子。
該數據表明，很多大學使用「影響因子」來評估教師表現，而這一指標被廣泛批判為一種粗魯、誤導性的科研質量評判標準。
英國拉夫堡大學研究策略經理 Elizabeth Gadd 說道：「這表明這些機構或許并沒有正確考慮它們想要什么樣的教師」。
用期刊影響因子衡量影響
期刊影響因子用于衡量過去兩年里發表在特定期刊的文章平均引用量。出版商通常會在投標中用這一數字來宣傳期刊的質量。但是，很多學者和審查小組將影響因子作為判斷一項研究的質量、重要性和聲望，或者評價發布這項研究的科學家的一種快速方法。
這種情況使很多學者頗受困擾，他們稱影響因子傳播了一種不健康且不利于科學發展的研究文化，他們希望大學在招聘和晉升流程中拋棄這項指標。研究表明，影響因子并不太能夠預測科學家的科研能力，但尚不清楚招聘者以這種方式使用影響因子指標的頻率。
來源：E. C. McKiernan et al. PeerJ Preprints 7, e27638v2（2019）
為了了解其普遍程度，來自墨西哥國立自治大學的神經生理學家 Erin McKiernan 及其同事收集和分析了來自北美多家機構的 864 份考評、晉升和任期文件，并在 PeerJ Preprints 4 月 9 日刊上發表了預印本文章。
他們使用軟件來處理這些文檔，利用工具找到文檔中與影響因子相關的特定詞匯，他們閱讀文檔子集中的相關文章，以了解這些機構如何使用以及為何使用該指標。
不到 1/4 的機構在此類文檔中提及影響因子時，會使用一個意義相近的詞，比如「高影響力期刊」（high impact journal）。但是在 57 所研究密集型大學中，這個比例上升到了 40%。與之相反，授予碩士學位的大學中僅有 18% 的學校提到期刊影響因子（詳見上圖）。
在非常注重研究的大學中，這一比例超過 80%，這些文檔中的語言鼓勵在學術評估中使用影響因子。這些機構中僅有 13% 對于該指標使用了審慎的詞匯。這類語言還可能表示高影響因子與更好的研究相關：61% 的機構將影響因子作為衡量研究質量的標準，35% 的機構表示它能夠反映研究的影響力、重要性或意義。
舉例來說，中佛羅里達大學健康管理和信息學系的文檔中出現如下句子：
發表研究的質量和數量很重要。衡量質量的一般標準包括論文發表在高排名期刊和研究的引用量。
類似地，佛蒙特大學文理學院的相關文檔中表示：
學術研究發表在核心期刊和學術出版社上，通常可以表明該研究的重要性。
冰山一角
「現在我們擁有一些數據來展示學術評估的過程。」McKiernan 表示。她認為在此類文檔中明確使用影響因子的機構比例可能更高，她表示這項研究的結果可能只是「冰山一角」。
她補充道，學術評估過程中可能存在更多與影響因子間接相關的詞匯，比如「核心期刊」（top-tier journal）或「高排名期刊」（high-ranking journal）。
與期刊影響因子相關的詞匯分類圖。上圖將 RPT 文件中與期刊影響因子相關的詞匯分成了三類：最內環是直接表示期刊影響因子的詞匯；中間是一定程度上表示期刊影響力的詞匯；最外環是間接但可能表示期刊影響因子的詞匯。該研究主要給予最內環和中間環的詞匯進行。
帝國理工學院結構生物學家 Stephen Curry 表示，對于大學來說，提出員工評估的新方法至關重要。「應該基于研究來評判研究者，而不僅僅是他們在哪里發表文章。同時還需要對他們在研究文章發表之外的貢獻給予認可?！?/p>
如何改進學術評估和 RPT 過程？
期刊影響因子與質量之間缺乏必然的聯系，以及學術社區普遍把二者聯系起來的行為，使得挑戰期刊影響因子的行為和提議越來越多，他們希望學術社區能夠負責任地使用評估指標，進而改善學術評估。
其中，最著名的項目莫過于《舊金山科研評估宣言》(DORA)。DORA 指出期刊影響因子的諸多局限性，并建議對科學家學者及其研究進行評估時不要使用期刊影響因子，尤其是不要將其作為「衡量單個研究文章質量的替代性指標」。DORA 建議機構
「明確員工招聘、任期和晉升決策的標準，強調論文的內容要比發表指標或期刊地位重要得多，尤其是對早期研究者來說。」
目前，全世界已有 1200 多家組織和接近 14000 個人簽署了 DORA。
此外，高校圖書館也是促進負責任評估指標的主力軍。一些高校圖書館制作在線指南，幫助學校教師了解如何正確使用不同的指標（包括期刊影響因子），這些學校包括杜克大學醫學中心圖書館和檔案館（Medical Center Library & Archives）、伊利諾伊大學香檳分校圖書館、薩里大學圖書館、約克大學圖書館。圖書館還為教師提供文章發表和文獻計量學方面的個人咨詢和訓練。
一些圖書館還領導了相關的大型活動。大學和研究圖書館協會（Association of College & Research Libraries，ACRL）開發了一個用于評估期刊的學術通訊工具包（Scholarly Communication Toolkit），提出多種方式來評估期刊質量。歐洲研究型圖書館協會（LIBER）建立了 Working Group on Metrics。MyRI 項目（Measuring your Research Impact）由三所愛爾蘭高校圖書館聯合成立，旨在提供關于文獻計量學的開放教育資源。
學術生活艱苦，得到公平合理的評價是極大的慰藉。期待學術評估和機構 RPT 過程更加客觀科學，重視研究本身和研究者本人的貢獻。