在恭亲王等人的操作下，张盛藻的奏折被皇帝谕旨严厉驳回。谕旨里说，天文算学是儒者应当学习的知识，不可视为“机巧”。
张盛藻被打压之后，晚清士林领袖、大学士倭仁亲自登场，与恭亲王奕讠斤展开了两个回合激烈论战。
倭仁是晚清著名的理学家，在当时的士大夫当中享有崇高的威望。同治初年，倭仁与李棠阶、吴廷栋合称“海内三大贤”；此次同文馆之争发生时，李棠阶已经去世，吴廷栋已经告老还乡，倭仁身为帝师，独立京城，身份地位也就更显尊崇。另两位日后大名鼎鼎的帝师——徐桐和翁同龢，此时的声望还远不能与倭仁相比。
3月20日，倭仁上奏，直言反对科举出身的士子师从“夷人”，认为这样会动摇国本，终至“变夏于夷”，天朝辉煌的文化道统会被粗陋的蛮夷之学所取代，有亡国之患。
朝廷不能像对待张盛藻那样对倭仁斥退了事。倭仁的影响力不可忽视，上奏当天，两宫皇太后就立即召见了倭仁。但谈话并不愉快，双方没能达成共识。随后，问题被抛给恭亲王和他领导的总理衙门。
4月6日，总理衙门拿出了一份极长的奏折，重申了开设天文算学馆的重要性以及招收科甲士子进天文算学馆学习的必要性。奏折里最关键的技术处理，是对倭仁一再强调的“变夏于夷”避而不谈，而是大谈特谈危机之深和“自强”的紧迫。为了给倭仁造成压力，同时还附上了曾国藩、左宗棠、李鸿章等一大批洋务大臣的奏稿信件。最后，奕讠斤还将了倭仁一军：该大学士既然认为我们此举不可行，会亡国，想来肯定别有强国良策。如果该大学士确实另有良策，可以压制外国而使本国不受欺侮，则臣等自当追随该大学士，竭力效劳，悉心商办。如果没有其他良策，仅仅大谈特谈忠义、礼仪，认为这些可以制服洋人，臣等实在不敢相信。
第一回合结束。
4月12日，倭仁再次上奏，不但坚持己见，而且反将了奕讠斤等人一军。倭仁说：“具体到让夷人来教授算术这件事情，如果该王大臣确实有把握，认为必能将算术学精通，必能将精巧的机器造出来，中国的正经读书人必不至于被夷人所利用，夷人丑类必能被中国所歼灭，则上报君王，下伸民愤，岂不善哉！若做不到这些，却先丧失了人心道德，那就不如不开设天文算术馆。”
倭仁这一挤兑确实触到了奕讠斤的软肋。4月23日，奕讠斤上奏承认自己不能做上述保证。奕讠斤说：“像倭仁所说的那种把握，臣等不敢保证。臣等只能尽力尽心去做应当办的事、能够办的事，至于成败利钝，即便是汉臣诸葛亮，也无法预料，何况臣等！”
但作为反击，奕讠斤又抓住了倭仁上次奏折里的一个弱点集中攻击。奕讠斤说：“上次该大学士说，天下之大，不患无才，要学算术，也不必师从夷人。那么该大学士肯定能够保荐数名人才。臣请择地另设一算术馆，由倭仁负责揽师招生教授，以观其成效。”
