בן להורים גרושים

הי, מקווה שזה המקום הנכון לשאול.
יש לי ילד בן 9, אני גרושה כ8 שנים ויש לי משמורת מלאה עם הסדרי ראיה לאבא.
לאחרונה הוא התחתן עם אשה שיש לה 3 בנות קטנות מבני.
מאז שהם גרים יחד הוא מסרב ללכת לשם וטוען שהילדות מעצבנות אותו.
אבא שלו לא עושה מאמץ מיוחד להקל עליו וגם לא דואג לזמן איכות אישי שלדעתי הכרחי בסיטואציה כזו.
יש לציין שאני והאבא מסתדרים טוב בד״כ ואני מאד משתדלת לעדכן אותו בכל דבר שקורה כי חשוב לי שיהיה מעורב.
היום הבן שלי התקשר אליי ושמעתי את אבא שלו צועק עליו כיוון שהעיר אותו מהשינה (הוא ישן כשהילד הגיע) ובכלל אני מקבלת תחושה שהוא לא ממש רוצה אותו שם.
מצד אחד אני מאד צריכה את השקט לפעמים וזה עוזר לי להיות יותר רגועה וסבלנית כשהוא חוזר.
מצד שני אני חוששת שלא טוב לו שם.
אשמח לעצות והמלצות.
תודה מראש