论文检测系统的评测指标.docx

论文检测系统的评测指标

第一篇：论文检测系统的评测指标论文检测系统的评测指标如何评价一个抄袭检测系统的好与坏?目前．国内外对复制检测系统的评价还没有形成统一的标准，不同的研究基本使用不同的评测指标。本文在研究了各种评价方法后，认为以下方法是比较有效的。1、正确率和召回率。对于某篇待识别的论文，在比较系统的答案和理想的答案时，我们要做两项测试：(1)返回的结果部是被抄袭的论文吗?(2)所有被抄袭的论文都被找到了吗?正确率指标和召回率指标恰好回答了这两个问题：准确率(Precision)，也称查准率、精度，表示返划的结果中被抄袭论文占返回结果总数的比率，也称为查准率，召回率(Recall)，也称查全率、全度，表示结果中被抄袭论文的个数占实际被抄袭论文总数的比率，也称为查全率．两个指标分别度量检测效果的某个方面，忽略任何一个方面都有失偏颇。两个极端情况：返回1篇，P=100％，但月极低：全部返回，R=1，但P极低。理想情况下，我们希望系统能同时获得最好的准确率和召回率。系统获得100％的正确率和召回率是指，提交一篇待检测的论文而系统返回的结果中部是被抄袭的论文且是论文库中所有的被抄袭论文。这就意味着系统的答案包含全部理想答案且仅包含理想答案。在实际中，这种情况很难达到。更多的时候，只能获得大约30％的正确率和召回率。这两种测量不是独立的，它们之间有较强的关系：一个增加，另一个下降。对某个系统质量的测量紧紧关注其中的一项是不可取的。事实上，获得100％的召回率是容易的：对每个问题，只要把整个论文库作为答案即可。但是，在这种情况下．正确率是很低的，一些没有抄袭的论文会被误判定为抄袭。同理，通过返回少量的文档作为答案可以增加正确率，但会降低召回率，会使一些存在轻度抄袭的论文逃过检测。因此，在实际评价一个系统时，要兼顾二者。P-R的测量不是静态的(比如，一个系统不能仅有正确率和召回率中的一个测量)。系统的性能可以在好的正确率或好的召回率(损害另一种测量)之间改变。那么，如何利用P-R曲线评测各个系统的优劣呢?下面给出一张几个系统P．R曲线比较图，一般地讲，如果一个系统的曲线超过(在右端的上边)另一个，则认为这个系统是比较好的。但有时，各系统P-R曲线是交叉的(上图中在P值到达0．8左右时各系统的P-R曲线出现了交Y-)，因此很难判断哪个更好些。2、MAP。P．R指标遇到了曲线会出现交叉，难以区分各系统好坏的难题。而MAP指标恰好解决了这个难题，通过计算MAP的大小就可以比较各系统的优劣，MAP值越大代表系统的性能越好；相反，MAP值越小，系统的表现就越差。在介绍MAP指标之前，首先介绍计算MAP需要用到的2个基础指标，分别是平均精度(平均正确率)和宏平均：AP：平均精度(AverageRecall)是全度(召回率)曲线上的点对应的精度值的平均值。(对于11点均值法，AP是在全度分别为0、0．1、0．2…0．9，1．0上的精度的平均值)MA：宏平均(MacroAverage)是对于每个查询求出某个指标(精度、全度)，然后对这些指标进行算数平均。MAP：MAP(MeanAP)就是对测试集中所有查询的AP求宏平均。本文转载至写邦论文检测系统第二篇：关于论文检测系统范文现在论文抄袭、学术打假成为学术界、媒体关注的话题。有的学者心存侥幸，有的学者对学术严谨性未加重视等，以至于被相关人士揭发举报，最终身败名裂。而许多毕业生因为种种原因，并未对论文抄袭现象加以重视，最后不能顺利毕业，荒废了几年时间，得不偿失。现在提供论文检测的机构主要来源于三大中文期刊数据库，即中国知网论文检测系统，万方论文相似性检测系统，维普通达检测系统。现在应用较多的是中国知网和万方的检测系统，但是两者都不是免费的，其中，中国知网的费用相对高，在淘宝上一篇硕士论文的检测费用达到两百元。介于此考虑，我在网上收集了一下，提供免费检测论文的几个网站。虽然与权威检测机构的检测结果不一定完全一致，但肯定对论文的修改是有一定帮助的。PaperPass论文通行证网/s/8059第一次成功充值之后即赠送你第一次充值额度10%的积分，活动有期限，先注册先得哦。（仅限本链接）维普-通达论文引用检测系统（简称VTTMS）是由重庆有限公司与通达恒远（北京）信息技术有限公司共同研制而成，该系统结合了的数据资源优势与通达的数据挖掘技术并成功地应用在大规模文本比对领域上的创新产品。通过对文档关键语义片段的识别、检测，可检测出文档中存在的不当引用、过度以用，甚至是抄袭等现象，并计算出文档的引用率、复写率和自写率等重要指标，为各级论文评定、检测、发表机构提供论文评定和论文收录的检测依据。该系统采用TONDA公司自主研发的核心算法技术，具有业内领先的检测速度。全文比对数据库由专业的期刊数据库、广泛的web互联网数据、