有专家不知道自己名列评审专家
正是在此背景下，北大图书馆与北京高校图书馆期刊工作研究会决定联合申报一个对期刊进行评价的课题，形成的最后成果，就是《总览》。
据了解，《总览》自1992年9月问世以来，每4年出一版。2008年12月，该书的第5版已正式出版。
“会有某些重要的刊物被遗漏”
蔡蓉华说，评定核心期刊采取定量分析与定性分析相结合的方法。在定量分析中，有一些重要的指标必须参考。
在1992年版中，采用了3个评价指标：载文量、文摘量、被引量。
但载文量却一直备受诟病，如果有刊物放松对论文质量的控制，提高稿件录用率，把刊物由季刊改为月刊甚至旬刊，其结果是载文量提高，而刊物水平可能反而下降。像《商场现代化》这种每期399页的旬刊，如果按当时评价指标评价，无疑大占优势。
与此同时，《总览》的“研究报告”也承认：1992年版和其后的1996年版评审“采用的是书本式检索工具，做手工统计，工作量十分巨大，并难以保证没有误差”。
此后，1996年和2000年的第二、三版采用了6个评价指标：被索量、被摘量、被引量、载文量、被摘率、影响因子。
从2000年版开始，由于计算机网络的兴起，《总览》渐别“手工统计”，开始使用“在国内有一定影响的数据库”做统计源。
2004年版又增加了一个指标，采用了7个评价指标：被索量、被摘量、被引量、他引量、被摘率、影响因子、获奖或被重要检索工具收录。也是从这一年开始，“载文量”这一明显有缺陷的评价指标被课题组舍弃了。
2008年在2004年的基础上增加了“基金论文比”和“web下载率”两个评价指标。与此同时，统计源也有所增加，2004年版有52种数据库，2008年版有81种统计源。
蔡蓉华表示，“核心期刊”评价是民间课题，没办法做到绝对严密。她坦承，统计数据和指标设定并不完美，有时对一些期刊的评价还会出现偏差。比如，据她所知，有些期刊甚至会用“互相引用”等不正常的方式托起虚高的索引量。
2000年版《总览》对“核心期刊”这样描述：“由于统计数据总是存在这样或那样的问题，筛选方法总有这样或那样的缺陷，因此实际筛选出来的核心期刊只能从整体上大致反映学科期刊的状况。排序不可能完全准确，还会有某些重要的刊物被遗漏……”
也有一些期刊工作人员认为，《总览》选取的统计源数据时效性不强，不能真实反映期刊现状。
以2008年版《总览》为例，采用的是“2003年至2005年的被使用量”数据。
“相隔四五年的数据还有多大的参考价值？为什么不用最新的统计源数据？”一位在某工业经济类期刊工作多年的编辑质疑。
他认为，统计数据的时效性现在不存在技术上的难题。比如自2005年起，由清华大学图书馆、中国学术期刊（光盘版）电子杂志社和中国科学文献计量评价研究中心共同编制的《中国学术期刊综合引证报告》，就以年刊的方式每年出版一卷。
对“专家定性评审”的争议
2008年版《总览》的“报告研究”称，“前4版均采用定量分析和定性分析相结合的评价方法，以定量评价为依据，以专家定性评审为补充，取得了很好的效果。”
而定性评价的具体操作方式，据“研究报告”表述，是“广泛收集学科专家（具有正高职称）信息……接着向这些专家发电子邮件，邀请他们参加核心期刊评审工作。”
2008年版的“研究报告”称，送专家评审材料主要有：《总览》（2008年版）研究概况，介绍研究方法；《总览》（2008年版）专家评审原则，说明专家评审方法；学科送审期刊表。
而专家评审内容为：调整核心期刊排序、调整核心期刊表、增补优秀学术期刊进入核心期刊表，以及修改学科核心期刊数量。
数据显示，《总览》各版评审的专家数量分别为：1992 年420 人，1996 年288 人， 2000年215人，2004年1871人，2008年5529人。
虽然《商场现代化》正是在专家评审环节被拉下来的，让人看到了专家定性评审的作用，但这一环节也受到了一些期刊工作人员的诟病。
《公路与汽运》前主编吴正明认为，在期刊数量大量增加的情况下，专家受时间和精力限制，不可能了解和本学科有关的全部期刊，更不可能审读各期刊上刊登的每篇论文，评审结果难免带有专家个人的主观性。
也有期刊社主编致电中国青年报称：“有专家根本不知道有评审这么回事儿，名字就被列入评审专家了。”
东南大学土木建设与房地产系教授成虎向中国青年报记者证实：“近来很多学科的朋友打电话，询问核心期刊的评审情况，我起初还纳闷：为什么这么多人打电话都问同一个问题。后来才知道自己被列在评审专家了。”
在2008年版《总览》第22页，“F4／F6（含F27，除F59）工业经济类核心期刊表”的“评审专家”一栏中，“成虎”确实位列其中。
至于在评审中具体从事了什么工作，成虎表示“记不得了”，“没有什么印象”。他说，“邀请我参加评审的项目很多，一些发邀请的邮件发到研究所或我个人的邮箱后，直接就被当作垃圾邮件处理掉了。我根本没有看到邀请，更别说具体做什么事情了。”
中国社会科学院办公厅邢东田编审也认为，虽然有“专家定性评审”这一项，但“专家的作用也不过是在总体认定基础上的微调而已”。
《总览》对图书馆指导价值有限
在多版《总览》的“研究报告”部分都提及：核心期刊表可作为图书馆采购、导读和参考咨询的参考工具。
身为工程管理领域专家，成虎认为，2008年版的《总览》，工业经济期刊类一共评出了14种核心期刊，而他所研究领域的众多学者认为“很权威、甚至可以称为最好”的一本刊物却没有入选，“这让我们都感到非常诧异，不可理解。”
一位期刊主编认为，2008年版《总览》有的地方“乱点鸳鸯谱”：“按中国图书馆分类法，《中国软科学》和《软科学》都是G3科学、科学研究类期刊，为什么评审时把《中国软科学》放在‘G3（除G35）科学、科学研究类”评，而把《软科学》放在F4／F6（含F27，除F59）工业经济类中评？”
邢东田也基于对2000年版《总览》研究后发现，一些纯学术而且品格极高的期刊如《中国哲学史》榜上无名，而一些文学期刊，如《收获》、《十月》、《当代》、《小说月刊》，甚至大众文学期刊如《民间文学》、《故事会》也都被选为“核心”。
上海交通大学教授熊丙奇说，现在很多高校在确定核心期刊时并没有完全按照《中文核心期刊要目总览》确定的范围，而是在此基础上再做筛选，“这从侧面反映了学界对某些机构做的核心期刊评价的不信任。”
一个例证是，2008年年底，河南商丘师范学院院长孙天华在接受大河网访谈时表示：“学校在广大职工比较关注的职称评定问题上，校学术委员会经过反复讨论，反复调查研究封杀了36种校学术委员会认为不严肃的刊物。其中包括《商场现代化》等这些我们认为不严肃的刊物。”而《商场现代化》在2000年和2004年两次入选《总览》。
华中科技大学《高等教育研究》编辑部主任曾伟认为，当前很多问题确实是由核心期刊引起，但不能将所有责任都归咎于核心期刊。“关键看怎么对核心期刊解读，怎么去用它。”
记者翻阅了2008年版《总览》，近1100页，真正属于独家研究成果的只有116页，其他内容为评审专家名单、核心期刊简介、专业期刊一览表等，标价高达360元。
湖南一高校教师质疑：北大有关课题组为何不及时公布新评选的核心期刊？主要是他们要各高校购买他们那套书。