הבן מנישאוין קודמים של בעלי רוצה לגור אצלנו תקופה בקיץ

שלום לכולם,
בחיים לא כתבתי בפורום, אך מרגישה שכעת אין לי מקום אחר לפנות אליו , כדי להישאר אנונימית ולקבל תשובות לדילמה הקשה שאני נמצאת בה.
לבעלי (44) יש ילד מנישואין ראשונים (אני אישתו מס'3). הילד בן 18.5.
עד היום הוא היה מגיע אלינו פעם בשבועיים לסוף שבוע.
לנו אין ילדים משותפים עדיין ולבעלי יש בעיה רפואית להביא ילדים באופן טבעי. הדרך היחידה היא IVF. הפריה חוץ גופית. אני צעירה בת 30 בקרוב, ואני מוכנה לעבור הכל כדי שיהיולנו \ לו ילדים משלו. כן, ילדים משלו, הילד מנישאוין קודמים לא שלו (אישתו בגדה בו בזמנו ושיקרה כמה שנים טובים עד שהוא עלה על זה). יחד ם הכל, הוא לא ויתר עליו והוא אבא לכל דבר.
עד עכשיו היה גר עם אמא שלו וכעת , כאשר הוא התבגר ויכול להחליט החלטות לבד, הוא מתעקש לגור אלצנו תקופה מסויימת בקיץ, כי זה חוסך לו חצי שעה נסיעה בבוקר לעבודה. כן, יש לו רישיון ואוטו צמוד עם דלק על חשבון החברה.
אני נגד. נכון, זה נשמע שאני שטן כאשר אני אומרת "לא", אבל אני פשוט לא מסוגלת לעבור את זה. תמיד הילד שלו היה פגוע מנשים אחרות של בעלי, ודיי עשה לי דווקא בכל השנים שאנחנו ביחד.
אני מפחדת שהיחסים שלנו יהרסו בגללו. הוא כבר שבוע אצלנו ואני מאוד קשה עוברת את זה. לא יודעת להסביר מה בדיוק עוברת עליי, אבל הפחד מתגשם ואכן מאז שהוא אצלנו, אנחנו לא מפסיקים לריב. אני כל הזמן עצבנית, חסרת סבלנות ומצב רוח.
בעלי כמבון פוחד לפגוע בוולהגיד לו לא. אבל זה לא שהוא לא רצוי אצלנו, פשוט הקטע של מגורים אצלנו ולא רק סופי שבוע, משגעת אותי. בעלי רצה שאני אגיד לילד (נער בגובה 185 עם 80 קילו ) שלי יש בעיה עם זה , אז אחרי שדיברתי איתו, הילד התחצף ואמר שאסבול אותו כמה שבועות ולא אמות מזה כי הבית הוא שלו גם. ושאני אתפשר ואוותר. כן הילד, מלמד אותי חיים....
מה עושים?