段韶字孝先，小字铁伐。是段荣的长子，在高欢早年当小兵的时候，是段荣的父亲段长帐下的一名兵士，后来因为娶了娄昭君，从她的嫁妆中得到了一匹良马，因而有机会结识时任镇将将领的段长。

并依军中的规定成为了一百名士兵的队主，从而可以作为军队头目跟随段长行军打仗，受到段长的赏识提携，与段昭的父亲段荣成了生死之交。

而段昭的母亲就是娄昭君的姐姐，所以段韶其实是武明皇后娄昭君的外甥。高欢就是他的姨父。

段韶自少就得到姨夫高欢的器重，将他罗致到身边，授他为亲信都督。

段韶少年时就擅长骑射，而且在军事方面颇有见地，有将帅之才。此外，家族姻亲关系也令他因此在年轻时就得到高欢的关照。

高欢对段韶很是器重，常安排在自己的左右，作为心腹看待。 中兴元年（531年），他跟随高欢抗抵尔朱兆，参与广阿之役的战斗。

当时，高欢手下只有不到三万的兵力，而尔朱兆则带领着二十万大军来攻打高欢。

大战前夕，高欢忧虑尔朱兆军势强盛，便问段韶说：

“孝先，如今敌众我寡，我们该怎么办？”

段韶答：

“姨父，所谓军队多，是指得到众人的拼死效力；所谓强大，是指得到天下的人心。那个尔朱兆为人狂妄奸狡，从他领军至今，一路上看到的，不是裂冠毁冕，就是拔本塞源。

他刚刚杀主立君，不过半月，天下思乱，十人有九个不服他的管治。

相反，姨父您亲行德义，替天下人翦除君侧的恶人，何往而不胜！”

高欢说：

“话虽如此，我纵使是以顺伐逆，奉命讨罪，但弱小处于强大之中，恐将失去上天的庇佑，你没有听说过这种说法吗？”

段韶说：

“我听说过小能敌大。所谓弱小者但行大道的人，上天对任何人虽说并无特别偏爱，但也只会辅佐保佑有德之人。尔朱兆外乱天下，内失民心，有智慧之人不会为他出谋划策，勇武之人不会为其拼死战斗。尔朱兆作为不肖者失职，姨父作为贤者将之夺来，还有什么好疑惑的？”

高欢听了段韶的话，也觉得他是个有勇有谋之人，而且还善于争取民心和支持，是个可以栽培的将帅之才。