高殷继承大统,李祖娥成了皇太后,高洋的母亲娄昭君成了太皇太后。太皇太后在朝中的势力远大于李祖娥这位皇太后,娄昭君又有高演和高湛几个亲生儿子,高殷的帝位岌岌可危。李祖娥找到朝中几位亲信大臣,商议废掉娄昭君,由李祖娥执政,将高演和高湛调离朝廷以架空二王的权利,然后设法杀掉。消息很快传到了娄昭君那里,娄昭君勃然大怒,“岂能让我们母子受这汉家女人的摆布”。娄昭君迅速采取了行动,高殷被废为济南王,被赶出皇宫,高演成了北齐皇帝。权利面前无亲情,叔叔最终没有放过侄儿,高殷很快遭到了杀害。李祖娥迁居昭信宫。
高演仅仅做了两年皇帝,就在一次狩猎中出了意外,坠马重伤,医治无效,不久就离开了人世。在娄昭君的主持下,高湛继承大统,成为新一任北齐皇帝。高湛册封长广王妃胡氏为皇后,以示恩宠,但是胡皇后的寝宫却是空着的,因为高湛睡在嫂嫂李祖娥的昭信宫里。本来李祖娥鉴于叔嫂名份,极力拒绝高湛的非份要求,但是,高湛一句话就让她放弃了抵抗,“你还想不想让你儿子活命?”,李祖娥只剩下最后一个儿子高绍德,这是她后半生的依靠和指望,没有了儿子,她就没有了一切。李祖娥成了高湛事实上的嫔妃,高湛搂着嫂子这位绝色美人,夜夜春色无边。没多久,李祖娥就怀孕了,肚子一天天膨胀,渐渐行动不便。对于肚子里这个没有名份的孩子,李祖娥既惊且惧。她整日闭门不出,也不许别人踏入昭信宫一步。高绍德思念母亲,上门探望,却被卫兵拦在宫门外。儿子无法体谅母亲的苦衷,站在宫门外大声叫骂,“儿子难道不知道吗,母亲的肚子大了,所以不肯见儿子。”,李祖娥羞愧难当,忍不住泪流满面。
李祖娥和高湛的女儿出世了,史书上记载李祖娥“生女不举”,这个女婴很可能是被李祖娥掐死的。高湛听到了消息,狂怒得像一头狮子,他没想到这个温顺的女人竟敢弄死自己的女儿。他马上叫人把高绍德押到昭信宫来,当着李祖娥的面,声嘶力竭地狂叫,“你敢杀我的女儿,我就杀你的儿子”,当场用刀柄把高绍德活活打死,李祖娥极力阻拦,却救不回儿子的性命。高湛听到李祖娥的哭叫,更加怒火中烧,他扒光李祖娥的衣服,用鞭子狠狠抽打她的裸体,打得她血肉模糊,连声惨叫,昏倒在地。高湛叫人把她装进绢袋,丢进沟渠,绢袋被李祖娥染得鲜血淋漓。过了很久,李祖娥才苏醒过来,此时,她已经万念俱灰。
宫女们为李祖娥敷上药,用牛车把她送出宫去,李祖娥进了妙胜寺出家为尼。过了十几年,北周灭了北齐,李祖娥身在化外,仍然作为北齐皇族的一员被俘虏到北周。后来隋朝建立,李祖娥得以返回家乡赵郡,从此以后,史书上没有了她的记载。