בעיה חברתית?

בוקר טוב,
יש לי שאלה בקשר לבני בן ה-6, הוא מסיים את גן החובה וכבר מספר פעמים שהוא אומר שהוא לא רוצה ללכת לגן, הדבר לעיתים מלווה בבכי, כאשר אנו עוזבים אותו בגן, הוא בוכה מעט ונרגע לאחר מספר דקות. לפני כמה ימים אני לקחתי אותו לגן (בד"כ בעלי לוקח אותו בבוקר) והוא נאחז בי בחוזקה, תוך כדי בכי קורע לב וצעקות הוא לא רצה להשאר, נשארתי איתו מעט, ניסיתי לדבר איתו, להבין למה הוא לא רוצה להשאר אבל הוא בשלו, בסוף השארתי אותו ויצאתי הוא בכה עוד קצת ונרגע והיה כל היום בסדר (לדברי הגננת) כשהגענו הביתה בצהריים שאלתי אותו לפשר ההתנהגות והוא אמר שהוא לא רצה את העוזרת המחליפה וגם הגננת שלו לא היתה באותו היום והוא לא רצה להשאר וגם אמר שלא אוהבים אותו בגן. דבר שמאד מפליא אותו מאיפה הגיע המשפט הזה כי הגננת תמיד אומרת לי שיש לו תמיד חברים והוא אהוב על כל הילדים. הוא ילד מאד רגיש, רזה ונחבא אל הכלים, כזה שצריך להציע לו לשחק כי הוא לא תמיד יוזם.
גם הבוקר הוא אמר לבעלי שהילדים לא אוהבים אותו בגן.
איך להתנהג?
האם יש לייחס לזה משקל כבד או להתעלם/לא להתייחס למילים האלה? (בעלי אמר לו שכולם אוהבים אותו ושהילדים אוהבים אותו ושהוא ילד אהוב והוא בשלו - "לא נכון")