יחסים לא טובים בן אב לבנו התינוק

שלום,
בני בן השנה ו-8 אינו מוכן שאביו יהיה בקרבתו. הוא מתחיל לבכות וממש דוחה אותו (היום הוא גם מדבר קצת אז הוא אומר לא! או קורא לי שאני "אציל" אותו) כשהוא מנסה לשחק איתו, לחבק אותו, לנשק אותו, להרגיע אותו שהוא בוכה וכו'. קצת רקע, בעלי עובד מאוד קשה ומגיל אפס רואה אותו רק בבקרים לשעה ובסופי שבוע מה שהוביל לכך שהילד מאוד צמוד אלי. ברור לי שגם אני עשיתי טעויות בהתחלה שגרמו להתרחקות הזו (אני היחידה שהרדימה וקמה בלילות למשל).בנוסף חשוב לי לציין שהוא מתנהג ככה לאבא שלו רק בנוכחותי לטענת בעלי וכי היום ממש רואים שהוא מנסה לראות את התגובה שלי כשהוא בוכה שאבא שלו מנסה לחבק אותו. המצב מאוד מדאיג אותי וכמובן שבעלי ממש מתוסכל. אשמח לעצה איך לתקן את המצב כאשר את שעות העבודה של בעלי אני לא יכולה לשנות משמע, פתרון שאומר שיראה אותו יותר ברור לי שהכי טוב אבל לא ראלי. אציין דבר נוסף בסופ"ש יש להם בין שעה לשעתיים זמן לבד.