元諧的家族非常的顯貴，在早年與楊堅在北周朝廷主辦的最高學府國子學中共同學習。后來二人仕途都很順利，元諧擔任北周大將軍，楊堅升任北周丞相，兩人雖然一文一武，但關系十分親密。581年二月，獨攬大權的楊堅廢掉周靜帝，改國號為隋，是為隋文帝。元諧因為在楊堅登基時助有一臂之力，升任上大將軍，封樂安郡公，食邑千戶。