武媚娘重用武家的人后，开始大量罢黜李氏。
其中，李敬业被贬官到眉州当刺史，而他的弟弟李敬猷直接被免官。
这个李敬业不是别人，正是徐懋公的孙子，也就是徐世绩，他被李世民赐姓李，所以也叫李世绩，为了避讳，又叫李绩。
他在世的时候，就知道李敬业是个不安生的主，对人说：“这孩子的面相带有凶兆，将来一定祸害家门！”
因此，他想着杀死李敬业这个孙子。
有一次，徐世绩带着李敬业去打猎，看见李敬业纵马进入山中，当下命人放火烧死李敬业。
李敬业在大火之中，没有惊慌，把马杀死了，然后，钻进马肚子里去，这样，顺利躲过了火灾。
他回去之后，徐世绩看见血淋淋的李敬业，大吃一惊，问他是怎么逃生的。
李敬业如实说了。
徐世绩惊叹他的智慧，说：“或许，以你这智慧能够成就大业！”当下对他再也没有起杀心。
李敬业被贬之后，拉拢了一些同样不得志的官员，有给事中唐之奇、长安主薄骆宾王、詹事司直杜求仁、御史魏思温，这些都被罢黜的官员。
李敬业把他们笼聚在扬州，阴谋作乱，以恢复庐陵王李显复位为借口，打算举兵反对武天后。
其中，魏思温是最有计谋的，他跟李敬业献计：“我们举兵，可谓是秀才造反，十年不成！我们想举兵，最大的问题就是无兵！”
李敬业点点头，说：“对，我们只有一腔牢骚，而没有兵马！”
“那我们还怎么举兵？”
杜求仁无奈地说道。
魏思温想了想，说：“只有一个地方有兵！”
“哪个地方？”
李敬业忙问道。
“牢狱！”