פחד נטישה?

שלום, בני בן שלוש וחצי, ילד מקסים וחברותי אך מסוג הילדים שלא אוהבים לעמוד במרכז העניינים, הוא רגיש ויכול להסתגר בקלות. לפני 4 חודשים נולד לנו תינוק והוא מקבל אותו בהמון אהבה
יש תופעה שאני לא מבינה ממה היא נובעת ואשמח לשמוע דעתך - קרה פעמיים שהייתי עם בני, הלכנו זה ליד זה ובטעות הוא נתן יד לאישה אחרת. בשני המקרים אותן נשים היו מאד נחמדות וחייכו אליו, ואני פשוט קראתי לו או הערתי לו שאני לידו, בשיא הנעימות וברוגע. בשני המקרים ברגע שהוא קלט שהוא התבלבל הוא פרץ בבכי היסטרי, ממש צרחות, אחוז אמוק. ניסיתי להרגיע, חיבקתי, אמרתי שבסך הכל כלום לא קרה, אבל הוא היה היסטרי ולקח לי זמן מה להרגיע אותו. ממה ההיסטריה הזאת נובעת? מעולם לא נטשתי אותו, מעולם לא עזבתי אותו, אין לו טראומה כלשהי בעבר, אני פשוט לא מבינה. תודה.