כמות זרע נמוכה

שלום, לקרוא את כל ההודעות בפורום פה, קצת נותן אור על המצב הזה.
יש לנו ילד בן 3 שלא היה בעיה להכנס להריון, אחרי 4 חודשים של נסיונות נכנסו להריון בלי שום טיפול או משהו. אשתי ואני מנסים כבר מעל שנה להכנס להריון שני וללא הצלחה, לכן הלכנו להתיעץ עם רופא מה הצעדים הבאים. נשלחתי לבצע בדיקה של כמות הזרע וזה הראה שיש לי בערך בין 3 ל 4 מיליון זרעים שזה הבעיה כנראה ושאר הדברים הסבירו לנו שהם בסדר, אבל משום מה ישר הסבירו לנו למה אנחנו צריכים להתחיל לעשות טיפולי הפריה..
מה שגורם לי ללכת לקבל חוות דעת נוספת, השאלה שלי איך קורה שכמות הזרע יורדת בצורה משמעותית שאי אפשר להכנס להריון יותר, לא עבר עליי שום דבר רפואי במהלך השנים הללו שיכל לפגוע, במשקל עליתי רק 5 קילו מאז, חיים באותו איזור מגורים ואין שום דבר נפשי שיכול להשפיע (לפחות כמה שידוע לי). האם יש משהו שאפשר לעשות להעלות את כמות הזרע או שחייבים ישר בטיפול של ההפריה?
תודה.
אלכס