פיזיולוגיה בסיסית וכושר קרבי

אני בן 20, מטר 80 שוקל סביבות 75 קילוגרם.
התחלתי להתאמן בצורה אינטסיבית יחסית לצבא לפני שלוש וחצי שנים (בעיקר ריצות, כוח משקל גוף) ומאז המשכתי להתאמן בסוגי ספורט מגוונים ( תלוי בתקופה ובמשאבים שהיו ברשותי), חדר כושר כושר, שחייה וכו''. שמתי לב שההשתפרות שלי איטית יחסית לאנשים שהתאמנתי וכי הכושר שלי "מתאפס" מהר, למרות התמדה ועבודה קשה.
בשנה האחרונה התגייסתי ליחידה מיוחדת, ולמרות האימונים האינטנסיביים שם, הכושר שלי עדיין משתפר נורא לאט, ולהיפך, במדידות מסויימות הוא יורד, בזמן שהכושר של חבריי לצוות עולה ועולה והם תופסים מעין "פער" עליי.
לאחרונה שברתי את הקרסול ולכן אני בהמתנה של חצי שנה עד למחזור הבא של היחידה ורציתי לנצל את הזמן הזה כדי לבנות כושר נכון.
רציתי לשאול למה הכושר שלי משתפר כל כך לאט, האם יש משהו שאני יכול לעשות מעבר לאימונים ולתזונה נכונה?
יש לציין שאני אדם לא אתלת בבסיס, ועד שהתחלתי להתאמן הייתי שמנמן. אני מקפיד על תזונה נכונה ואורח חיים בריא ( ממעיט באלכוהול, ממתקים וכו'') מה אני יכול לעשות?