但是武家子女的性格有遗传，都是死倔死倔的。武家兄弟中，竟然没有一个领这个妹妹的情。
关系恰恰就在这个时候恶化了。某一天，武后的母亲、已封为荣国夫人的杨氏置酒高会，请了武惟良等人闲话家常。老太太那年八十多了，女儿有出息，晚年得享太平，心情非常好。看到武氏兄弟各个也都是体面之极，不禁问道：“你等还记得昔日之事么?今日之荣贵又如何?”
按照虚套，无论武家哥儿几个心里怎么想，都应该回答说：“托老太太的洪福，我们摊上个好妹妹，才能有今日的光景。”
可是武家兄弟个个都是牛脾气，根本就不想巴结。他们正色道：“我等以功臣子弟早登宦籍，自认才分不高，不求发达。哪知道因我们是皇后亲属之故，侥幸受朝廷之恩，加官进阶，我等正引以为忧，不引以为荣!”
这话说的其实没错，错就错在不应该说。这跟武则天当年驯狮子骢说的话，是一个德性，可以见出他们的老爸武士彟，绝非庸常之人!
此话一出，老夫人立刻不乐意了：这叫什么话!我这是热脸贴了你们冷屁股。结果，原想冰释前嫌的一顿家宴，没说几句话就不欢而散。
杨老夫人干了这件很丢面子的事，恨在心头，就旁敲侧击地撺掇武后，去跟高宗说，把武家这几个小子赶出去任外职。
武后知道了原委，也不禁大怒，感情在瞬间就战胜了理智。我现在是“二圣”之一，什么叫“圣”?就是我叫你死，你就活不成!
你们既然不领情，那我也就不用再照顾面子了，统统滚!
武家哥儿几个的京官也就当到了头。亲哥哥武元庆外放为龙州(今广西龙州县)刺史，武元爽为濠州(今安徽凤阳县)刺史，堂哥武惟良则给踢到剑阁的大山里去了，武怀运原本就在黄海边上。几个人去的都是老少边穷地区。
他们尝到了“功臣之后”的牌子什么用也不顶的滋味，出了京，厄运就开始降临。他们知道，这个铁腕的妹妹不会放过他们，这不过是迫害的开始。武元庆到任后不久就忧愤而死，武元爽到任后又被牵连进一个案子里，改为流放振州(今海南三亚)，到了天尽头，不久也死了。
两个堂哥身体好一些，没死，但也终日惶恐。这次两人到京，在客馆落脚之后，忽有宫里的宦官来通报，说皇后召他们去荣国夫人杨氏宅。
他们不知有何事，又不敢不从，只好匆忙赶去。进门一看，见皇上和魏国夫人贺兰氏居然也在。
二人大惊，连忙参拜。拜过，只听武后说：“听说你等带了些儿吃的来，要献给圣上，何不取来?”
武氏兄弟一听，原来如此!这才放下心来，说：“不错，是带了一些瓜果鱼蟹。”
武后笑道：“闻听白鱼味甚美，圣上一定喜欢。不妨烹几条，我们与圣上在此共饮一杯。”
二人遵命，叫人去取了鱼来。武后亲自挑选了几尾，送去庖厨烹了。
白鱼烹好，武后先端起一盘，出人意料地放在了贺兰氏面前，面带戚容地说：“自韩国夫人去世后，唯有我最怜你。你一心侍奉皇上，辛苦非常。今日这鱼，你就先尝吧，算是姨妈的一些心意。”
贺兰氏那时最多不过二十五六岁，绮梦未醒，以为姨妈可以和自己和平共处了，好日子还在后头呢，于是不无感动地接过了这盘鱼。