吕布很早就听说，颍川是一个地杰人灵的地方，除了荀彧、荀攸叔侄和郭嘉之外，除了袁绍麾下的荀谌、郭图、辛评之外，还有四大名士辛毗、陈群、杜袭、赵俨，吕布曾慕名征辟之，可惜当时吕布刚到洛阳，名声不彰，均被他们拒绝。

后来董卓霸占洛阳，洛阳靠近颍川，战火蔓延，颍川四大名士为避战乱，分别离开颍川，陈群举家搬迁到徐州，辛毗跟随兄长辛评投靠袁绍，而赵俨、杜袭相约一起前往荆州暂避，并在那里结识了同乡繁钦，三人一见如故，顿成莫逆之交。

当时荆州刺史还是韩馥，他素闻赵俨、杜袭、繁钦之名，刻意对他们进行笼络，并以贵宾之礼对待他们三人，多次请他们入仕。赵俨通过观察，认为韩馥生xing怯弱，不能长久，坚辞不就，果不其然，过了不到一年，袁绍就窃取韩馥的荆州。

袁绍又延请赵俨三人，赵俨则认为袁绍sè厉内荏，外宽内忌，喜欢招揽人才却不能量才使用，不是一个成大事的主，继续坚辞不就，还劝说在袁绍面前炫耀文才的繁钦远离袁绍，以免抱憾终生。

三人继续南渡，隐居在长沙郡，静待时局。

后来吕布迎少帝于邺城，发布唯才是举令，并实施屯田制度，赵俨认为“吕镇北（当时吕布还为镇北将军）应期命世，必能匡济华夏”，于是就同杜袭、繁钦等人一起举家北还，然而司隶一带被董卓占据，他们无法北上，滞留在襄阳时，他们又被袁绍延请，不得已暂时为袁绍效力。

””此后吕布奇袭洛阳。两次击败袁绍，袁绍胆寒，遂却了北上跟吕布抗衡的决心，一心往南边发展，赵俨因此更看轻袁绍，数次准备北上投奔吕布。都因为时机不成熟而停止。