كان الخليفة الأموي سليمان بن عبدالملك يبغض الحجاج بن يوسف، وشجعه على ذلك عمر بن عبدالعزيز رحمه الله لما يرتكب الحجاج من مظالم، وقد توعد سليمان الحجاج لئن تولى الخلافة ليمثلن به، ولكن للأسى والأسف كان الموت أسبق للحجاج من سليمان، ولذلك عزل سليمان جميع عمال الحجاج، وبعث ليزيد بن أبي مسلم صاحب شرطة الحجاج فعزله وقال لما رآه: قبح الله رجلا أجرك رسنه، وأولاك أمانته، قال: يا أمير المؤمنين انك رأيتني والأمر عليك مقبل وهو عني مدبر، ولو رأيتني والأمر علي مقبل لاستكبرت مني ما استصغرت، ولاستعظمت مني ما استحقرت، فقال سليمان: أترى الحجاج استقر الآن في قعر جهنم؟ قال يزيد: يا أمير المؤمنين ان الحجاج وطأ لكم المنابر وأذل لكم الجبابرة، ويجيء يوم القيامة عن يمين أبيك عبدالملك، وعن يسار أخيك الوليد فحيثما كانا كان، فضعه في اي مكان من جهنم شئت، فأعجب سليمان من قوة جنانه، فقال: قبحك الله، فقد خبث جنانك وطاب لسانك، ثم صرفه معزولا.