《科睿唯安社会影响力评估框架：负责任的影响力评估指南》

一、报告概述

报告指出，评估科研社会影响力本身极具挑战性。Research Professional News的调查显示，56%的科研管理部门受访者认为“社会效益”是未来需要衡量且重要的影响类型，但同时70%的受访者认为科研的社会影响力难以衡量。困难主要源于：数据缺乏、定性定量平衡难以把握、评估方法多样化、时间滞后及影响归因困难。

核心研究发现包括：

1. 框架设计的关键考量

2. 社会需求的分类方式

框架采用扩展版PESTLE模型，涵盖八个社会层面：

• 政治与政策

• 经济

• 技术

• 环境

• 社会与文化（细分为“医疗”“人力资本”）

• 法律与治理

默认采用UN SDGs进行分类。通过“引文主题”与“研究主题”将科研成果映射至SDGs。同时支持用户采用其他国家、地区或学科特定的分类体系。

3. 指标组结构

4. 社会影响力全貌

“社会影响力全貌”功能以图形化方式总结机构在不同社会层面上的已显现影响与潜在影响，作为进一步深入探究分析的起点。其采用“渐隐式”可视化设计，旨在体现数据概括的不确定性，防止用户做出过度精确的解读。目前仅适用于机构层面（不适用于项目层面），以避免误读风险。

5. 在国家科研评估机制（RAE）中的应用

Web of Science Research Intelligence的“社会影响力报告”功能，可帮助机构完成影响力案例研究的准备、撰写与验证。框架支持将科研成果映射至各国RAE所采用的分类体系（如荷兰SEP、意大利VQR等）。

6. 未来方向

• 整合新的数据源与度量指标

• 探索定性数据源（调查、情感分析）

• 研究大语言模型（AI）在影响力案例研究验证中的应用

二、整体解读

1. 核心命题：社会影响力评估需要“结构化框架”而非“单一指标”

报告最核心的战略判断是：科研社会影响力评估不应试图将所有信息压缩为单一数字（如“影响力得分”），而应通过结构化的框架整合多元数据，并充分结合具体背景进行解读。

这一判断直接回应了Research Professional News调查中70%受访者认为“社会影响力难以衡量”的困境。报告明确指出：“目前并不存在一种合理的方法，可以将社会影响力数据简单汇总为单一指标，并据此对整体社会影响力进行评估比较。”任何试图将多个指标简单加总的做法都会导致误读。

2. 前瞻性 vs. 回顾性指标：两阶段影响追踪

报告将指标分为“前瞻性”（潜在影响信号）和“回顾性”（已显现影响信号），这一区分具有重要的方法论价值：

关键洞察：前瞻性指标并非“次等”数据。例如，开展临床试验本身并不构成已显现影响，但临床试验的启动可被视为未来潜在影响的早期信号。在影响力案例研究准备阶段，前瞻性指标可以帮助机构发现此前可能尚未识别出的影响信号。

3. 社会影响力全貌：负责任的数据聚合与可视化

报告提出的“社会影响力全貌”功能，是对“如何在不误导的前提下概括复杂数据”这一难题的回应：

战略价值：社会影响力全貌帮助机构快速了解“在哪些社会层面影响信号较强/较弱”，从而做出战略决策——是优先强化优势领域，还是优先改善薄弱领域。

4. 负责任评估的五项核心原则

报告贯穿始终的“负责任评估”理念，可归纳为五项核心原则：

5. 科研人员与科研管理部门的认知差异

附录B的调查结果揭示了值得关注的分歧：

战略启示：负责任的社会影响力评估需要平衡不同利益相关方的视角，避免单一群体主导评估框架的设计。

6. 对国家科研评估机制的支撑

报告明确展示了框架与各国RAE的对接能力：

战略价值：框架不仅提供定量指标，还可帮助机构完成影响力案例研究的准备、撰写与验证——这是RAE评估的核心环节。

7. 映射方法的严谨性：超越关键词匹配与黑箱AI

报告特别强调了映射方法的中间路线：

• 不采用纯关键词匹配：示例论文明确提及SDG15但实际与研究主题无关，纯关键词匹配会导致错误分类

• 不依赖AI“黑箱”：AI模型本质上属于“黑箱”，人们无法明确知道其为何得出某一结论

• 采用引文主题与研究主题：基于“相互引用的论文通常涉及相近主题”的假设，结合语义分析，实现透明、可复现的映射

方法论价值：这一方法在可扩展性与准确性之间取得了平衡，且符合负责任研究评估的透明性原则。

8. 应对数据稀疏与分布偏斜的统计方法

报告直面“大多数机构在多数影响力指标上几乎没有数据”的现实，提出了务实建议：

战略价值：避免因“数据不完美”而放弃评估，同时防止因“过度解读稀疏数据”而产生误导性结论。

三、核心数据速览

四、战略启示（提炼自报告）

五、总体评价

这是一份方法论严谨、实践导向、负责任意识突出的科研评估指南。 其核心价值在于：

1. 系统性强：从框架设计原则、社会需求分类、指标组结构、背景解读到国家RAE应用，形成完整闭环

2. 负责任意识突出：明确指出“不应简单汇总为单一指标”“绝对计数可能误导”“仅限机构层面比较”等重要限制

3. 可操作性高：提供具体的指标组、数据源、可视化方法（社会影响力全貌）及案例研究支持

4. 兼顾学术严谨与实用：映射方法在可扩展性与准确性之间取得平衡，统计方法直面数据稀疏现实

5. 国际视野开阔：框架设计参考了英国REF、荷兰SEP、意大利VQR、中国香港RAE等多种国家评估机制

值得注意的定位：

• 本报告是科睿唯安ISI系列报告的一部分，其框架与Web of Science Research Intelligence平台深度绑定，具有一定的产品导向性

• 报告聚焦于“定量指标”，对定性评估方法（如专家评审、深度访谈）的讨论相对有限

• 对“归因困难”（特定影响由多个研究领域共同促成）的解决方案仍依赖传统方法（如通过引文分析追踪贡献），未提出突破性方法

• 报告未讨论开放科学、预印本、数据共享等新兴实践对社会影响力评估的影响

总体而言，这份指南适合科研管理部门、基金资助机构、高校研究评估办公室、政策制定者以及关注科研社会影响力的研究人员作为方法论参考。其核心启示可概括为：科研社会影响力评估不应追求“单一得分”的简化，而应拥抱“结构化框架”的复杂性。负责任评估需要平衡前瞻性与回顾性指标、定量与定性数据，并充分结合具体背景进行解读。社会影响力全貌不是“最终答案”，而是“探索起点”——帮助机构识别在哪些社会层面影响信号较强或较弱，从而做出战略优先级判断。最好的社会影响力评估不是告诉机构“你得了多少分”，而是帮助机构回答“我们在哪些方面真正产生了影响，以及下一步该往哪里走”。