او از مادرش به نیکی یاد می‌کند و او را زنی فهیم، ملایم، مهربان و با روحیه‌‌ای سازگار می‌‌شناساند و می‌گوید: «تا زنده باشم از پدرم دل‌آزرده می‌‌باشم و به مادرم رحمت می‌‌فرستم که از آن نیش‌‌ها چشیده و از ‌‌این نوش‌‌ها خورده‌‌ام.» او گفته: «وقتی از مادرم جدا شدم، گول پدر را خوردم و با او به اراک رفتم، آنجا زنی به نام جواهر بلاهایی فراوان به سر من آورد. همین زن موجب شد پدرم مادرم را طلاق دهد و آن همه بلا سرش بیاورد. بعدها که پولدار شدم و در بازار دکان و دستک داشتم یک روز دیدم پیرزنی سفیدموی آمد از من کمک خواست. وقتی خوب نگاهش کردم، دیدم همان جواهر است. گفتم تو همان نیستی که آن بلاها را به سر من آوردی؟ او را از خودم راندم. شب ماجرا را برای مادرم تعریف کردم و مادرم گفت چرا این کار را کردی و از خودت راندی، وضو گرفت، نماز خواند و رو به قبله ایستاد و استغفار کرد.» نصرالله حدادی از شاگردان او گفته است: «‌یک روز از او پرسیدم آقا بزرگ‌ترین خطایی که یک مرد می‌تواند بکند چیست؟ گفت زن‌‌های متعدد بگیرد.

گفتم یعنی خودتان؟ گفت مجبور شدم ولی من هم خطا کردم. جعفر شهری از زن اول یک فرزند داشت. از زن دوم بچه نداشت. از زن سوم دو دختر داشت و از زن چهارم هم دو پسر داشت. عید که می‌شد همیشه به خانه‌‌اش می‌‌‌‌‌‌رفتم و عیدی می‌گرفتم. عیدی که به من می‌‌داد البته فقط حرف و نصیحت بود. یکی از نصیحت‌‌هایش به من این بود که برو کار کن خودت آقا بشوی، زنت خانم! دومین نصیحتش این بود که ببین حساب شب‌‌مانده با کسی نداشته باشی. شب به شب حسابت را با مردم صاف کن، شب راحت سرت را زمین بگذار.»