زهد کم نظیر و صراحت لهجه ابوذر مخالفانش را هراسان و او را قدرتمند ساخته بود. ابن ابی الحدید می نویسد: «زمانی که ابوذر در شام تبعید بود هر روز در مقابل قصر معاویه فریاد می زد: شتران حامل آتش [بیت المال] رسيدند؛ خداوندا، كسى كه امر به معروف مى كند و خود آن را ترك مى گويد، و کسی که نهى از منكر مى كند و مرتكب آن مى شود را از رحمتت دور كن. و معاویه در حالی که به خود می لرزيد به ابوذر می گفت: اگر بنا بود يكى از اصحاب پیامبر(ص) را بدون اذن عثمان به قتل برسانم تو را مى كشتم. و بلاخره معاویه او را به مدینه بازگرداند».