针对应用研究类国家科技项目定位于解决产业共性关键技术，且其主要产出的科技成果是技术发明的特点，本文从技术特征的视角设计了专利产出的表征方式，通过聚类分析方法识别相关的技术领域，通过知识图谱的方法设计了专利技术领域的对标计量分析模型。针对科技项目绩效考评的重点是产出、效果和影响3个维度，从专利产出数、有效发明数、产出模式、实施许可、被引次数、科学关联度、同族专利数量、Top10%高被引专利、技术影响力指数、代表性专利等角度设计了相关指标体系，并以国家科技项目“水专项”为例，从产出、效果和影响3个维度，以国内水平和国际水平为比较对象，进行了对标计量分析。研究发现，经过多年的技术积累和升级，“水专项”的技术影响力显著提升，到了“十二五”和“十三五”时期，已经远远超过国际和国内的技术影响力指数。同时，全面覆盖水方面相关研究的7个技术领域，其中，水净化仪器、装备技术领域是主要由“水专项”资助技术专利形成的特色性领域。
2021年8月2日，国务院办公厅发文《国务院办公厅关于完善科技成果评价机制的指导意见》（国办发〔2021〕26号），强调加快推进国家科技项目成果评价改革。按照“四个面向”要求深入推进科研管理改革试点，抓紧建立科技计划成果后评估制度。建立健全重大项目知识产权管理流程，建立专利申请前评估制度，加大高质量专利转化应用绩效的评价权重。
一般情况下，科技项目产出成果主要有著作、论文、专利、标准、仪器、设备等。基础研究类项目主要以期刊论文产出为主，目前，国内外一些学者主要从论文角度对项目的执行绩效进行评价。Gao等从论文产出数量、质量和效果的角度，设计基础研究类项目的评价指标体系，并以某973项目为例，进行实证分析；Corsini等通过概率匹配模型研究发现获得项目资助的期刊论文将获得更多的引用；马瑞敏等从权威施引者和引用评论等级2个方面，构建论文代表作遴选模型，并以物理学领域国家自然科学奖入围项目为例展开实证研究。此外，还有一些学者采用数据包络分析法、因子分析和优劣解距离法（TOPSIS）、投入-产出效率分析法、层次分析法、模糊层次分析法（AHP）等方法，对科研项目的绩效进行评估。
应用研究类国家科技项目（因本文选择的研究对象与水污染治理相关，故简称水专项）主要是以专利产出为主，且作为创新链中技术科学的体现，可以有效联系创新链的基础科学（主要产出是论文）和工程技术（主要产出是材料、装置、仪器、系统、设备、装备等），在评估国家科技项目的绩效方面具有独特的作用。此外，授权的发明专利，具备新颖性、创造性和实用性等特征，不仅可以体现项目产出成果在新原理、新方法方面的独创性和新颖性，而且还可以挖掘部分技术在解决产业关键共性技术问题、企业重大技术创新难题方面的创造性和实用性，所以更适合对应用研究类项目的产出进行表征和评价。但是，从专利产出的角度，目前对国家科技项目绩效评价的研究还较少。
目前，国内外基于专利的质量或者影响进行评价分析的研究成果较多，初步可以分为定性评价与定量评价2种。在定量评估方面，专利相关指标主要可以分为3个层面的应用，分别是宏观专利计量、中观专利计量和微观专利计量：宏观专利计量一般应用于国家层面的评价和比较，或者是具体领域或者行业的分析比较；中观专利计量主要应用于企业层面的对标分析和比较评价；微观专利计量方面，专利指标有科学关联度、前向引文量、后向引文量、同族专利数量等，主要应用于小样本专利集合分析和比较。
应用研究类国家科技项目的专利产出，要高于中观层面的专利评估，同时也低于宏观视角的专利评估，故要集成宏观专利计量指标和中观专利计量指标，并结合我国科研评价的准则，以及具体科技项目的“解决实际问题”特征，创造性地设计评估维度和评价指标。
1
国家科技项目专利绩效评估研究方法
1.1 基于技术特征的专利产出表征
专利本质上是一种新的技术方案，是由多个技术特征（technical specification，TS）组成的，因此每件专利可被描述成
式中，专利Pi包括n个技术特征，分别是TS1，TS2，…，TSn。
国家科技项目的专利产出可以被看成一个专利集合，其中每一项专利又有不同的技术特征。此外，不同的技术特征会出现在不同的专利中，最终该项目的专利集合就是一个涵盖所有技术特征的完整集合
式中，该项目合计产出了m项专利，采用技术特征为点，将m项专利技术特征之间的关联以技术网络表示。
如图1所示，每个节点表示技术特征，节点与节点之间的连线表示技术特征出现在同一项专利中。其中，节点的大小与技术特征出现的频次成正比；连线的粗细与技术特征共同出现的频次成正比；节点的颜色体现技术特征首次出现的时间；连线的颜色体现技术特征共同出现的时间。
图1 国家科技项目专利产出的技术网络表征
1.2 基于聚类分析的专利技术领域识别
专利聚类分析将专利数据集中的专利按照技术特征聚成不同的类，以揭示整个专利数据集的类别构成，这里的类别可以被称为技术领域，即通过对专利数据集的聚类分析，尤其是针对专利的具体技术特征聚类分析，可以确定整个专利数据集的技术领域分布。
在专利聚类确定技术领域的基础上，可以进一步分析该项目专利的分布情况，进而实现后续的对标分析，明晰该项目在不同技术领域的影响。
1.3 基于知识图谱的对标计量分析
在本研究中，“待评价”项目的专利产出可以作为目标对象（命名为：Data1）。在后续分析中，本研究将抽取该项目以外，国内科研机构、企业或个人申请（以第一专利权人的地址界定）的国内专利作为对标对象（命名为：Data2），以体现国内研究水平（包括中国香港特区和中国澳门特区，不包括中国台湾省申请的专利）；同时抽取国外科研机构、企业或个人申请（以第一专利权人的地址界定）的国内外专利作为另一个对标对象（命名为：Data3），以体现国际研究水平。
通过比较该项目、国内研究水平、国际研究水平，确定产出、效果和影响，其中，影响分析要定位到不同技术领域的层面。
在Data1、Data2和Data3分别形成的技术网络的基础上，通过每个技术网络中共有的技术特征，可以将3个技术网络最后连接成一个整体的技术网络，图2表示全球整体的技术研究状况。
在全球技术网络的基础上，进一步进行聚类分析，如图2所示，将全球技术划分为13个技术领域，即：#0~#12。图中，c04-C、e36-C、a97-C、……、d16-C是每个技术领域的名称。
图2 基于知识图谱的对标计量分析
在图2中，横轴代表时间，每行的技术领域可被看作是其发展演化路线图。纵轴包括4列，其中第1列表示国际技术研究网络（Data3），第2列表示国内技术研究网络（Data2国内特有部分），而第3列表示该项目的技术研究网络（Data1该项目特有部分），第4列是所有技术领域的标签列。
整体而言，本研究基于专利文本的聚类分析，将“待评价”项目相关的技术体系进一步划分为不同的技术领域，即#0~#12（第4列），并研究不同数据源的专利分布、技术领域的发展路线。在抽取所有技术领域的专利文本的基础上，进一步采用自然语言处理技术、文本挖掘技术、知识可视化技术、文献计量学方面等，确定技术领域的发展演化路线图，并将Data1、Data2和Data3中代表性专利映射到发展演化路线图上，比较评估三者的表现。
2
基于专利数据的绩效指标体系
2.1 专利数据
专利数据来源于全球领先的信息服务商科睿唯安旗下的Derwent Innovation（德温特）。德温特是科睿唯安公司建设的全球知名的专利科技文献检索平台，其专利数据来源DWPI数据（Derwent World Patent Index，DWPI），覆盖全球100余个国家和地区的专利文献，超过11000万件专利。此外，德温特创建更加侧重于专利用途的德温特分类和德温特手工代码，尤其是后者更类似于学术论文中的关键词，适合细粒度的专利分析。
2.2 专利检索
根据评价目的，本文的专利数据集包括3部分。
数据集1：“待评价”项目产出专利数据集，具体指的是“待评价”项目产出有效发明及其关联的同族发明。
数据集2：国内该领域产出专利数据集，具体指的是数据集1以外，中国产出的有效发明及其关联的同族发明。
数据集3：国际该领域产出专利数据集，具体指的是国际产出的该领域的有效发明及其关联的同族发明。
根据后续分析的需要，进一步补充3个数据集中各项专利的主要著录信息。最终数据集1、数据集2和数据集3的并集，成为本论文最终分析和评估的整个数据集，即全球该领域产出专利，体现全球该领域的技术研究状况。其中，全球该领域的技术研究状况又划分为3个可以互相比较、对标的维度：第1个维度为“待评价”项目技术研究状况；第2个维度为国内该领域技术研究状况；第3个维度为国际该领域技术研究状况。
2.3 分析指标
本文从情报学视角设计了一组绩效指标体系，反映项目专利产出的全貌，如图3所示。具体3个方面及其涵盖的指标如下。
图3 应用研究类国家科技项目的绩效评价指标体系
1）产出方面：“待评价”项目专利产出数、有效发明专利数、专利产出模式、实施许可等。
2）效果方面：Top10%高被引专利占比、被引次数、篇均被引次数、同族专利数量等指标。
3）影响方面：“待评价”项目在不同技术领域上的表现、代表性专利等。
在产出方面，侧重从绝对数量的角度进行描述性分析，采用相对数量的方式对3个数据集进行对比；在效果方面，偏向从相对占比的角度，对3个数据集进行对标性比较；在影响方面，综合绝对数量和相对占比，融合整体和局部，关注“代表性专利”，进行全面性对标分析。
2.3.1 产出维度
1）专利产出数。“待评价”项目产出专利的数量，包括实用新型、外观设计和发明3种类型。在我国的知识产权保护中，主要保护3种专利，分别是发明专利、实用新型和外观设计。其中，发明专利是最具权威性、新颖性、创新性的技术。
2）有效发明专利数。有效发明专利数只针对有效发明进行统计。该指标可以从一定角度反映项目的真正产出数量。专利在其整个生命周期里，状态属性并非一直不变，而是随时间不断发生变化，并且整个变化过程均被记录在法律状态中，受到知识产权相关法律的严格保护。
专利的法律状态指某一特定时间点，某项专利申请或授权专利在某一国家的权利类型、权利维持、权利范围等状态。通过对法律状态及其相关信息的研究，可以深入了解专利的质量。从专利申请，到专利公开，再到专利授权及专利维持等方面，专利权人需要不断缴纳费用才能维持专利的有效性。因此，从经济的角度出发，只有专利权人从维持专利的法律状态当中获得的收益大于维持缴纳的费用，才会继续维持专利的有效法律状态，从而可以从法律状态反映专利质量。
3）产出模式。所有的专利产出都是由专利权人创造的，当其中专利权人为多个时，就涉及合作，尤其是多个专利权人属于不同类型时，这类专利一般具有更高的价值。一般专利权人的类型可以分为个人、高校、研究机构、企业、政府等，其中产学、产研类专利相对而言具有更高的价值。
在产学研合作中，由于知识主体在知识区位中高低位势的不同，使知识在企业与大学科研机构之间的流动得以发生。在选择学研伙伴时，企业参与技术合作与学习的倾向会受到技术知识的广泛性和深度性的影响。企业与位势相对高的大学科研机构组成技术联盟，合作重心在于企业技术能力深层演进，动机在于寻求更高程度的专业化。企业在这种非对称的单向技术学习中，高校及科研机构发挥知识服务者的角色，知识从高位势的学研机构向企业转移。而这种正向势差在协同创新目标及市场需求驱动下，表现为高位势联盟主体的“拉动”和低位势联盟主体的“跟进”，使知识在技术联盟组织间循序渐进地流动，从而实现企业技术创新和成长。
4）实施许可。为了切实保护专利权，规范专利实施许可行为，促进专利权的运用，国家知识产权局根据《中华人民共和国专利法》《中华人民共和国合同法》和相关法律法规，制定了《专利实施许可合同备案办法》，登记备案专利实施许可信息或发明专利转让合同，备案专利权人变更信息。相对于一般的专利而言，有实施许可备案信息的专利有更高的经济价值，具体包括如下几类：（1）专利运行，通过专利申请权/申请权的转移确定；（2）质押融资，通过专利权质押合同确定；（3）专利许可，通过专利许可合同备案确定。
2.3.2 效果维度
1）被引次数。被引次数指的是该专利被后期专利引用的次数，可以衡量该专利对后来技术发展的影响程度。
2）科学关联度。科学关联度是指专利引用科学文献的数量，由美国知识产权咨询公司（CHI公司）开发用作考察企业的技术创新对基础科学研究的依赖程度。科学关联度指标是对引用非专利文献数量指标的进一步细化，因为非专利文献种类很多，包括期刊论文、会议论文、书籍、研究报告、报纸、杂志等，并非所有的都是科学文献。
科学关联度与专利质量的关系已经被很多学者验证，即专利引用的科学文献越多，说明其越接近科学前沿，该专利质量越高；一个企业较多引用科学文献，说明其使用科学知识能力较强，其专利质量也高。
3）同族专利数量。为了使专利权在不同国家或地区获得保护，同一专利就必须在不同的国家或地区重复申请，于是形成了一组由不同文种出版的、内容相同或相近的专利文献，这些文献为彼此的同族专利。同族专利相互间通过“优先权”进行联系，其数量的多少反映了具体专利的价值。
4）Top10%高被引专利。专利被引次数是一个与专利申请年、技术领域密切相关的定量评价指标。鉴于此，本研究将以专利申请年进行标准化，进一步对项目产出专利进行评估。Top10%高被引专利是在同一申请年同一技术领域，按照专利被引次数进行倒序排列。
5）技术影响力指数（technology influence index，TII）。
在运用TII指标测度某个专利集合的技术影响力时，CHI Research公司规定被引用次数排名在前10%的专利为最具影响力的专利，并对TII进行如下定义： 某分析对象最具影响力的专利比重，除以领域最具影响力的专利比重，即为该分析对象的技术影响力指数TII。 TII值越高，说明该分析对象的技术影响力越大。 在CHI Research的基础上，本研究进一步将Top1%的专利确定为最具影响力的专利，并以此为分子，计算某个分析对象的技术影响力指数。
此外，进一步综合“待评价”项目的执行期，本文将“待评价”项目按照专利申请年划分为3个阶段，分别是“十一五”时期（2006—2010年）、“十二五”时期（2011—2015年）和“十三五”时期（2016—2020年）。无论是对于“待评价”项目、国内研究水平，还是国际研究水平，都可以从时间维度跟踪技术领域的发展演进，还可以进行对标比较。
2.3.3 影响维度
将整个专利数据集划分为不同的领域，清晰地从细分领域定位“待评价”项目的影响和贡献。可以将技术领域看成一条技术链，体现技术的发展演进，具体则采用一个二维坐标轴表示，其中横轴为时间，具体是指技术专利的申请年；纵轴为技术的价值，具体是指技术专利的技术影响力。此外，每个节点的大小，采用技术的领域影响力表示。
其中，专利的技术影响力主要是以专利的被引频次为主，进一步综合专利的科学关联度、专利的状态、专利的同族专利数量、专利的权利归属等计算得出。专利的领域影响力主要是采用科睿唯安在Derwent Innovation中自建的领域影响力指标，该指标使用了超过150个参数，包括专利的诉讼、法律状态、上下游活动、引用、家族成员状态、专利申请人的参与情况、专利文本内容等，通过机器学习模型，将已知或同行专家已经标注过的专利数据作为训练模型，进而获得衡量专利领域影响力的分析模型，对其他所有德温特专利进行定量分析打分得到。
在对专利的重要性和影响力分析的基础上，综合专利的申请时间，将具体的专利映射到技术链上，如图4所示。分别选择具体专利技术领域中数据集1（“待评价”项目）、数据集2（国内研究）和数据集3（国际研究）中代表性专利，实现进一步具体技术领域中的影响比较。
图4 技术领域的影响力评估模型
3
国家科技项目专利绩效评估分析实证研究——以“水专项”为例
水体污染控制与治理科技重大专项（“水专项”）是为实现中国经济社会又好又快发展，调整经济结构，转变经济增长方式，缓解我国能源、资源和环境的制约而设置的。该项目是根据《国家中长期科学和技术发展规划纲要（2006—2020年）》设立的16个重大科技专项之一，旨在为中国水体污染控制与治理提供强有力的科技支撑。
经过15年的协同攻关，该项目已经取得了一定的突破。本部分通过对“水专项”的项目概况、项目动态、项目进展、项目成果、产出专利的详细分析，并同该领域相关专家多次交流和沟通，确定了检索式，并不断修正完善。
3.1 产出视角
3.1.1 “水专项”产出分布
如表1所示，2001—2020年，“水专项”合计产出6575项专利，其中发明（包括发明申请和发明授权）为4991项，占总产出的75.9%。发明授权量为2519项，略高于发明申请的数量2472项。
表1 “水专项”专利产出分布
3.1.2 有效发明比较
有效发明是针对发明申请和发明授权这2种专利产出而言的，其中对于前者而言，有效发明意味着在申请中的发明，是处于申请的有效状态，可能处于申请后刚公开阶段，申请后公开待“申请人提出实质审查请求”阶段，实质审查结束“需要修改”阶段，“申请人改正”后待专利局核验阶段等。就后者而言，有效发明则意味着授权发明处于专利保护期阶段。在我国，发明的有效保护期是从专利申请之日起20年，可有效授权发明的专利保护期可能比较长，可以是十几年，也可能比较短，仅剩余1年或更短。相对而言，授权发明的剩余保护期越长，则意味着它的价值越高；反之，则价值越低。另外，有多项研究发现，我国授权发明的有效期远远短于国外授权发明的有效期。
如表2所示，在“水专项”方面，3011项发明是处于有效状态，占总发明量的比例为60.3%，略低于国内的有效率（65.9%），不过远高于国际的专利有效率（28.7%）。其中，国际专利无效的原因主要是专利的保护时间范围超过了专利保护期。
表2 有效发明比较
此外，“水专项”中无效的发明专利，主要是因为：1）申请后公开的发明，主题不符合专利授予条件，包括发明的方法和内容不具备新颖性、创造性或实用性；2）公开授权后无效的发明，没有支付年费而导致专利权的终止。
3.1.3 产出模式比较
如表3所示，就产学（或产研）合作而言，“水专项”的比率最高，也超过国内的比率4.78%。产学或产研专利主要包括企业和高校，以及企业和研究院两种类型，聚焦于技术发明的应用、市场化和产业化。
表3 产学或产研合作比率分析
3.1.4 实施许可比较
在“水专项”中，191项发明专利有实施许可，主要是源于高校和研究所的专利（许可方），将专利权转移到公司（实施方）后被实施。如表4所示，高校有120项专利有实施许可，约占整个许可方的62.83%；在实施方，主要是公司，有181项专利，约占整个实施方的94.76%。
表4 “水专项”实施许可专利分布
根据专利申请时位列第1位的专利权人类型，确定许可方类型。若第1位专利权人是大学或学院，则鉴定为高校；若第1位专利权人是研究所或研究院，则鉴定为研究所；若第1位专利权人是公司或厂等，则标记为企业；若第1位专利权人是个人或事业单位或创新平台等，则确定为其他。
3.2 效果视角
分别以数据集1中有效发明3011项表征该应用研究类国家科技项目“水专项”的技术水平，以数据集2中有效发明55784项表征国内技术水平，同时以数据集3中有效发明20697项表征国际技术水平，进行效果维度的评价。
3.2.1 整体效果分析
在被引次数、科学关联度、同族专利数量3个维度，进一步对项均被引次数、项均科学关联度、项均同族专利数量等进行比较。如表5所示，在体现效果的3个维度，“水专项”的绩效均要远远好于国内的技术水平，在项均科学关联度方面，优于国际的技术水平。
表5 整体效果比较
3.2.2 Top10%高被引专利分析
如表6所示，国际的高被引专利所占份额显著下降，由“十一五”时期的96.33%，逐步下降到64.60%，在“十三五”时期下降到16.01%。
表6 Top10%高被引专利占比和技术影响力指数比较
“水专项”的高被引专利所占份额则在逐步增长，由“十一五”时期的0.88%，上升到“十二五”时期的7.10%，在“十三五”时期进一步增长到7.19%。在数量方面，“十一五”时期水专项的高被引专利仅仅只有6项，在“十二五”时期则增长到了140项，在“十三五”时期进一步增长到358项。
3.2.3 TII分析
如表6所示，经过多年的技术积累和技术升级，水专项的TII显著提升，到了“十二五”和“十三五”时期，已经远远超过国际和国内的TII。
具体而言，从“十一五”到“十三五”的3个时期，国际的TII都要大于1，即国际专利申请和授权，更偏向于申请或授权高质量和高影响力的发明专利；同时，国内的TII尽管稳步提升，但都低于1，即国内专利申请和授权，还有大量的低质量和低影响力的技术专利；对于水专项，则由“十一五”时期的不到1，迅速在“十二五”时期上升到了3.05，在“十三五”时期回落到2.56。
3.3 影响视角
目前，基于国际、国内和水专项3个数据集的专利聚类，研究发现整体可以划分为10多个小类别，其中主要包括7大技术领域，如图5所示，分别是农业面源水污染防治，吸附处理，生物处理，电解处理，水净化仪器、装备，催化、氧化和供排水管网。选择代表性技术领域“生物处理”，进一步从影响角度深度分析。
图5 全球水相关领域专利的技术领域分布
3.3.1 代表性技术领域：生物处理
生物处理技术领域主要包括23个子技术领域，生物降解、臭氧氧化、臭氧生物活性炭、离子交换、压力过滤等。在该技术领域，总共涵盖92988项发明专利（基于每项子技术领域统计，故会重复计算），包括国内专利90468项和水专项2520件，其中水专项占比2.71%。
1）“水专项”的代表性技术。在子技术领域“臭氧生物活性炭”，具体有一种臭氧接触池及臭氧接触方法、一种液/液两相流化臭氧氧化处理对氯硝基苯废水的方法、一种利用热处理控制饮用水臭氧/生物活性炭工艺浮游动物繁殖的方法、臭氧-生物活性炭水净化方法及装置等专利技术。
2）代表性技术介绍。臭氧生物活性炭是集臭氧氧化、生物降解、活性炭吸附于一体的生物处理技术。其中，微生物的降解作用使得活性炭吸附的有机物被去除，将活性炭内这部分物质所占有的吸附位重新空出来，从而长时间地保持活性炭的吸附能力，延长了活性炭工作寿命；臭氧的强氧化性，能够将一些难以生物降解的有机物转化为更小的化合物，可被细菌用作底物。臭氧生物活性炭可以视为饮用水处理单元的最后一道屏障，确保游离态藻源有机质的去除以及强化对残留藻细胞的处理。
3）代表性技术的工程示范。江苏太湖流域是我国社会经济发展快速、人口高度集聚的地区之一。饮用水安全保障曾经面临水源污染风险大、净水工艺适应性不高、输配系统存在安全隐患、应急保障措施不够完善等一系列问题，难以满足城乡居民对饮用水安全的期待。
为解决龙头水达标，“水专项”相关成果在太湖流域饮用水的备用水源建设与多水源调度、净水工艺提升、城乡统筹供水管网与二次供水水质保障、全过程监控预警与应急保障等方面取得一系列技术突破，形成了以臭氧-活性炭为核心的饮用水安全多级屏障成套技术，有力地提升了当地饮用水安全保障能力。
2020年，“水专项”技术成果在江苏太湖地区应用总规模达1335万m3/d，并支持江苏省基本实现应急水源全覆盖、深度处理全覆盖、城乡统筹区域供水全覆盖和应急保障全覆盖，支撑了江苏省供水行业饮用水安全保障能力的跨越式发展，惠及人口超过7500万。
4）代表性技术的工程示范效果。在臭氧生物活性炭在典型高藻原水地区的水污染治理应用后，“水专项”形成了一套“预氧化/粉末活性炭（应急处理）+（强化）常规处理+臭氧活性炭/膜技术”的处理流程，实现对藻类及其副产物的多级屏障作用，确保了出水水质达标，实现了龙头水从“合格水”向“优质水”转变。
结合实际效果和经验，“水专项”项目负责单位进一步凝练相关研究成果，建设适用于地方特点的标准化的技术工程体系，并与江苏省住房和城乡建设厅合作编制发布《江苏太湖地区饮用水源突发污染应急处理技术导则》《江苏太湖地区富营养化水源饮用水臭氧-生物活性炭深度处理工艺运行规程》《太湖水源饮用水深度处理工艺选用指南》。
相关标准成果已经在上海市、无锡市、苏州市等以湖库型水体为水源的城市，乃至全国类似城市推广应用，完善了太湖流域受水地区“从源头到龙头”饮用水安全保障技术体系，保障了污染湖库水源地区饮用水的供给的稳定与安全。
3.3.2 生物处理技术领域中代表性专利比较
在生物处理技术领域，如图6所示，国际方面具有较高影响力的是源自美国生物电磁公司申请的“电磁废水消毒设备”（US6780306B2）。该发明公布了一种对被细菌和其他微生物污染的水和废水进行消毒的方法和装置。该项发明自2002年申请后，获得了54次引用，其领域影响力为18.31。
图6 生物处理技术领域中代表性专利的比较
在水专项方面，代表性专利是东北师范大学申请的“一种河湖底泥就地处理的方法”（CN103669282A）。该技术涉及一种河（湖）底泥就地处理构建生态护岸的生态工程技术，具体是将城市区域河（湖）底泥与颗粒组分物填充生态袋，用于在水泥硬质化河湖岸边构建生态堤，在生态袋与原岸带间填充底泥和其他组分的混合物，然后种植灌丛和苔草等高净化能力植物，构建底泥就地处理系统，可以实现城市污染的河湖底泥就地处理，实现底泥的生态无害化处理与循环利用。该项技术发明获得12次引用，其领域影响力为6.77。
3.3.3 综合比较
在对7大技术领域分析的基础上，进一步筛选每个技术领域中国际、国内和水专项方面的发明，提取每个技术领域中国际、国内和水专项方面领域影响力值最大的发明，并将其展示到图7中。其中，横轴表示具体专利申请年，纵轴为技术领域的编号（1~7），节点大小表征具体专利的领域影响力值，节点颜色表示专利归属（绿色表示国际、黑色表示国内、红色表示水专项）。
图7 7个技术领域中国际、国内和“水专项”综合比较
如图7所示，国际方面的发明专利，主要分布在农业面源水污染防治、生物处理和电解处理技术领域；国内方面的发明专利，主要分布在农业面源水污染防治，吸附处理，生物处理，电解处理，催化、氧化和供排水管网技术领域；水专项则完全覆盖7个技术领域。
另外，在这7个技术领域中，“水专项”的专利技术影响，都要大于国内对应领域的技术成果影响。
1）“水专项”形成特色性的技术领域。水净化仪器、装备技术领域，主要由“水专项”的发明专利形成，其中，南开大学申请的“一种快速高效同时检测土壤、污泥中11种抗生素含量的方法”（CN106468691A），具有最高的领域影响力，其值为6.77。
2）“水专项”有较大优势的技术领域。在农业面源水污染防治技术领域，“水专项”有3项发明专利的领域影响力最大，都是12.1。在国际上，专利US9452938B2具有最高的技术影响力，其值为10.77。
在吸附处理技术领域，“水专项”有4项的领域影响力最大，都是12.1。在国内，浙江瀚邦环保科技有限公司申请的CN105253979B，具有最高的领域影响力，为6.33。
在电解处理技术领域，“水专项”的代表性专利是浙江大学的发明CN105439270A，具有最高的领域影响力，其值为6.33。
在催化、氧化技术领域，“水专项”的代表性专利是清华大学的CN103952918A，具有最高的领域影响力，其值为6.33。
在供排水管网技术领域，“水专项”的代表性专利是同济大学的CN106836441A，自2017年申请以来，已经获得了4次引用，其领域影响力最高，为5.88。
3）“水专项”在某些方面还需要向国际同行学习。在生物处理技术领域，国际方面美国生物电磁公司申请的“电磁废水消毒设备”（US6780306B2），具有最高的领域影响力，其值为18.31。
4
结论
针对应用研究类国家科技项目的科技成果特点和建设目标，本文重点关注产出中的技术发明，突出评价其在解决产业关键共性技术问题、企业重大技术创新难题，特别是关键核心技术问题方面的绩效，从产出、效果和影响方面设计一套评价指标体系。同时，结合代表性技术领域中的代表性技术成果在工程示范方面的应用，重点从解决人民生命健康、生态环境等重大社会问题的角度，详细剖析了其社会价值和社会影响。
在具体的分析中，本文选择“水专项”作为分析对象，并采集了相关领域的全球技术发明，按照第1专利权人所属类型，将其划分为3个数据集。在此基础上，进一步筛选3个数据集中的有效发明，并以此分别表征水专项技术水平、国内研究水平和国际研究水平。
在确定了数据集的基础上，从产出指标、效果指标和影响指标3个维度进行绩效对标分析。在产出方面，主要分析专利产出数、有效发明数、产出模式、实施许可等；在效果方面，主要分析被引次数、科学关联度、同族专利数量、Top10%高被引专利、技术影响力指数等；在影响方面，通过聚类确定主要的技术领域，筛选代表性专利技术，与国内和国际进行对标比较。
在当前“破四唯”的科技评价导向下，针对应用研究类的科研项目，从发明产出视角，设计了一套评价方法和指标体系，从项目、国内、国际3个角度，进行了横向、纵向和空间层面对比，为相关领域评价提供了一种新的思路。对于类似的国家级项目，本方法具有一定的普适性，尤其适用于周期长、参与人数多、项目产出丰富的项目，不适用于一般的国家自然科学基金项目，或省市一级的项目评估。此外，科研项目产出的不同类型科研成果具有科学、技术、经济、社会、文化等各类价值，应该针对不同类型的科研成果开展单独评价，进行更为综合的评估。
作者简介：高继平，中国科学技术信息研究所，副研究员，研究方向为科学计量学、科技政策等。
原文发表于《科技导报》2024年第15期，欢迎订阅查看。
《科技导报》创刊于1980年，中国科协学术会刊，主要刊登科学前沿和技术热点领域突破性的成果报道、权威性的科学评论、引领性的高端综述，发表促进经济社会发展、完善科技管理、优化科研环境、培育科学文化、促进科技创新和科技成果转化的决策咨询建议。常设栏目有院士卷首语、智库观点、科技评论、热点专题、综述、论文、学术聚焦、科学人文等。
