治承3年(1179年)清盛の娘の白川殿盛子が亡くなり、清盛が摂関家領を持つことが不可能になってしまいました。このことに目をつけ後白河は、これ幸いと自身が接収しました。以後あてつけのように人事異動し、清盛に対抗できる勢力を作り上げようとしました。
これに対抗した清盛はクーデターを起こし数千騎の武士を従え入京、武力攻撃をちらつかせて、後白河と院近臣団を解体しました。後白河は、対抗できるだけの武力を持っていなく、これに従わざる得ませんでした。そして鳥羽殿に衛兵を配置され、後白河が閉じ込められる結果となりました。
清盛の独裁政権に反感を持ち決起したのが、後白河法皇の次男・以仁王と源頼政一族の園城寺の大衆らでした。平氏崩壊の幕開けとなりました。それは、清盛が厳島神社を参拝したのがきっかけとなりました。高倉の高倉の厳島神社の参拝は、上皇の最初の神社参詣は畿内の岩清水八幡宮、賀茂大社、春日大社、日吉大社などに限られていたのに、旧来の秩序を壊されたと大衆から清盛と平氏に対する反感が生まれていきました。