许敬宗、崔义玄、袁公瑜等人一看李义府这样表态了，连忙站出来，齐声说：“臣等请废除王皇后，立武昭仪为后！”
一大半大臣都站了出来，说：“臣附议！”
这大半，都是有了新老婆的人。
褚遂良见了，气得浑身发抖起来，没想到这么多大臣，竟然会赞成皇帝换老婆！
李治见只有长孙无忌和褚遂良在反对，当下看了徐世绩一眼，说：“徐司马，你说说，朕该不该换老婆？”
长孙无忌和褚遂良齐齐看着徐世绩，想着他是老臣，应该跟他们一伙，没想到徐世绩微微躬身，说：“这是陛下的家事，何必纷纷问外人？”
“你——”
长孙无忌和褚遂良被气得要吐血！
“好！”
李治大喜，见大部分大臣赞成，没想到连徐世绩这样的老臣功臣也赞成，那还犹豫什么，当下说：“传旨，废除王皇后，改立武昭仪为后！”
武媚娘在后面听了，满心欢喜！
搞了那么久，终于把皇后的位置搞到手了！
“皇上！”
褚遂良还要劝说。
李治在得到大多数大臣的赞成之下，再不将褚遂良放在眼里，厉声说：“褚遂良，你三番五次，反对朕废后，反对朕立武昭仪，意欲何为？无非是想显示你托孤大臣的权力！朕告诉你，除了朕，谁都没有权力！”说着，大声说：“宣旨，罢黜褚遂良中书令之职，立即去潭州任职！”
“臣，臣谢恩！”
褚遂良跪了下去，知道自己在皇帝那里，完全失去信任了！以后这天下，将是武氏之天下！
注：李义府有钱了就要换老婆的理论，并非作者杜撰，史书上确有记载，《资治通鉴》记载李义府的原话是：“田舍翁多收十斛麦,尚欲易妇，何况天子！”
可见，古人一有钱，第一件事就是换老婆。这个习俗，至今也没多大改变。可谓良好家风，世世相传。至今不变，蔚为大观。
注：李治询问徐世绩废皇后之事，《资治通鉴》的记载，徐世绩回答：“此乃陛下家事，何必纷纷问外臣？”由此，徐世绩得到了李治和武媚娘的重用。这里说一下，并非徐世绩人格不如长孙无忌和褚遂良，而是他学会变通，知道跟李治和武媚娘对着干，只会被搞死，完成不了更大的伟业。徐世绩奉承李治和武媚娘，最后迎来了他的高光时刻：征服高句丽！这是李世民都没完成的任务，徐世绩通过隐忍，终于完成了。