被称为保守派首领的，是大清首任驻美公使陈兰彬。检索史料，陈兰彬确曾屡上奏折，请求朝廷召回这些留学生。他说：“外洋风俗，流弊多端，我国学生到了美国，不再读圣贤之书，德性不坚。西方技艺没学到多少，倒沾染了满身恶习。即使大力整顿，也很难防范周全。我的意思全数召回算了！（译文）”陈兰彬曾任留美幼童第一任监督，在这位翰林出身的大清官员看来，留学生学到多少科学知识是次要的，最重要的是把自己培养成什么样的人。所以，既然留学生“言行举止受美国同化而渐改其故态”，那么，“他日纵能学成回国，非特无益于国家，亦且有害于社会”。

    被称为开明派首领的，是驻美副公使容闳。容闳是幼童留美计划的推动者，他反对如此苛刻地指责留美学生。如学生们参加各种棒球队、足球队、赛艇队，学习音乐、舞蹈，剪了辫子，穿上西服，甚至与美国女孩子谈恋爱，陈兰彬指责说，这叫“不合礼仪，放荡淫逸”，容闳却认为这叫“入乡随俗，无可深怪”。

    争论持续了好几年，双方都希望李鸿章主持公道。在国内，自1872年曾国藩去世，留美幼童事业，已由李鸿章一人独立支撑。他是洋务运动领袖，各项洋务事业，都亟须留洋人才，他对留美幼童期望殷殷，如何能容忍学业未成而一朝撤回？所以，对双方争执，他采取“各打五十大板”的办法，对容闳，责其“偏重西学，致幼童中学荒疏”，对陈兰彬和他的支持者们，责其“对幼童绳之过严，致滋对抗之心，要求全部撤回，未免近于固执”。他希望用这种中庸之道弥合争论，“总期学子学成乃归，为国效命”。

    就在这时，美国一项不公道的外交政策，使李鸿章恨上心头。原来，留美幼童经十年刻苦学习，大多高中毕业，至少已有半数可升入大学。李鸿章希望这些留学生可进入美国陆海军学院学习西方军事，回国后成为大清国防的中坚人才。但美国政府允许日本留学生攻读美国军校，却不给中国学生同等待遇。李鸿章要求容闳与美方交涉。容闳回忆道：“我于是致书美国国务院，要求给予我国学生同等待遇。美国国务院回函，以极其轻蔑的口吻拒绝所请。其言辞是：美国大学没你们中国学生立足之地。（译文）”容闳将此回复报告了李鸿章，李之心境可想而知。

    但李鸿章还是不希望留学生们辍学回国。1881年2月24日，李鸿章致电驻美公使陈兰彬：美方虽不允我留学生进入其陆海军学院，但“幼童学业都已很有长劲，进入美国其他大学，也可学习国家急需的修路、开矿、筑炮台、制机器等各种技艺，我期待他们学成后再回国，一旦裁撤，极为可惜。（译文）”总之，李鸿章的意见是，已进入大学的，一定要完成学业；尚未进入大学的，可选20名进入美国的电报馆，速成电学后，回国效力，因为国家新兴的电报线工程需要他们。老奸巨猾的李鸿章，希望这个“撤少留多”的举措，可堵住朝廷反对派的悠悠之口。

    不料，总理衙门（外交部）的官员们已全盘接受陈兰彬的“全撤请求”，将李鸿章“撤少留多之举”，借题发挥为“不撤而撤之意”。1881年6月8日，总理衙门呈奏慈禧太后：“臣等以为与其逐渐撤还，莫若概行停止，较为直截。相应饬下南北洋大臣，趁各局用人之际，将出洋学生一律调回。”当日，慈禧批示：依议钦此。这4个字，与她10年前批准幼童留美计划的上谕，一字不差。

    到1881年底，除已在美国病故者3人、中途辍学者23人，剩下的94名“留美幼童”，分三批“凄然回国”。当年，《纽约时报》载文评述此事：“清政府希望只从美国引进知识、科学和工业模式，而将‘病毒’拒之门外。这怎么可能？要么不要，要么全要，否则，什么也得不到。（译文）”