האם אני פוגע ביחסים שלהם ?

שלום .
לאשתי אח ואחות , יש לי קשר טוב עם אחותה אבל עם אחיה אין לי קשר טוב , אין לי תקשורת איתו .
אני לא מרגיש בנוח כשאני מוזמן אליו .
למרות כל התחושות שלי וחוסר הנעימות אני לא שם רגלים לאשתי ביחסים ביניהם , מזמין אותו אלינו , מגיע גם אליהם וזאת בהתחשב ולטובת אישתי .
אין אני מרגיש בנוח לפתח את היחסים מעבר לביקורים מדי פעם אצלם והם אצלנו בגלל נסיונות העבר של כל מיני התנהגויות של אחיה באותם פגישות שגרמו לי להתרחק ולהמנע ממפגשים כאלה כמו טיולים , יציאות למסעדות וכו"י .
אני לא מנסה לפגוע ביחסים ביניהם ולא שם רגלים לקשר ביניהם ולא מתנגד למפגשים ביניהם או לסרב למפגשים ביניהם או להרחבת היחסים ביניהם .
אשתי טוענת כי כתוצאה מהסירוב שלי וחוסר הנעימות שלי אני בדרך עקיפה פוגע ביחסים שלה עם אחיה , האם לדעתכם זה נכון ?
אני שוב מציין שאני לא מתערב , לא שם רגלים ואינני מונע להתפתחות היחסים ביניהם אבל אני לא רוצה להיות ביחסים האלה ובקשר ביניהם .
אני מכבד את אחיה כאח שלה ולא יותר מזה ואני חושב שבאים אין לי תקשורת איתו ולא נעים לי להיות בחברתו ולא משנה מה הסיבה לא צריך לאלץ אותי להיות מעורב ביחסים ביניהם וזכותי להגיד גם לא ללכת אליו וזכותה של אשתי גם ללכת לבדה .
מה דעתכם , האם אשתי צודקת ואני פוגע ביחסים ביניהם .
תודה