איך להתמוד עם סרבנות קשר?

שלום,
אני גרוש אבא לילד בן 4.5.
עד לאחרונה פגשתי את בני פעם בשבוע (אנו לא מתגוררים באותה העיר) למשך 3 שעות בהם שיחקנו ובילינו יחד. בנוסף שוחחנו כל ערב בטלפון כשעה.
בחצי שנה האחרונה הדרדר המצב כך שבתחילה הוא אמר לי ש "אסור לי לשאול אותו שאלות" (כגון איפה היית בשבת?) עד למצב שהוא כלל לא מוכן לדבר איתי (אני מנסה להתקשר כל ערב ונתקל בתגובה - ל"לא רוצה לדבר איתך וניתוק) ולהפגש איתי.
הוא מדקלם מנטרה שאני עשיתי אותו חולה והוא לא רוצה לדבר איתי. (יש לציין כי כל פעם שהחזרתי אותו הביתה - אמא שלו טענה כי חזר עם חום, הקאות, שיעולים) כמו כן הוא לא הולך לגן בטענה של אימו שבגן לא שומרים עליו כמו שצריך והוא נעשה חולה שם
(כבר עבר 4 גנים). הילד לא מוכן גם לדבר עם אף אחד ממשפחתי ואומר שכל המשפחה שלי עושה אותו חולה.
העניין בטיפול פקידות סעד ממשרד הרווחה המנסות למצוא דרך לפתור את הבעייה.
הבעייה היא שככל שעובר הזמן - אני פוחד שהדמות שלי מטשטשת אצלו והוא מפנים את דמותי כדמות מסוכנת אשר עושה לו רע.
איך הייתם ממליצים להתנהג? האם להמשיך להתקשר בכל זאת ולשמוע שהוא לא רוצה לדבר איתי? יש דרך לדובב אותו לפני שהוא מנתק?
אודה לתגובות.