赵高小时候酷爱读书，尤其喜欢读律法，隐宫中书籍不多，于是赵高经常在做完了自己的本职工作之后，就前往秦国的公室内读书。

不过一年的时间，他就熟练的掌握了大秦律，并对此倒背如流，曾与李斯和韩非讨论律法，两人对赵高的言行举止都感到非常的震惊，认为他未来可以担任大秦的廷尉！

赵高小时候扶着清扫章台宫的梁柱，经常需要他爬到房顶上打扫。每当他工作劳累的时候，就喜欢坐在房梁上远瞭整个咸阳宫，然后感叹道“大丈夫有朝一日就应该成为这座宫殿的主人！”

但赵高的母亲在怀孕的时候，就已经接受了残酷的刑罚，导致赵高先天不足，乃是一个天阉之人。

秦国认为天阉之人不属于可以征兆的士兵，所以赵高无法通过参军来获取军功授权。

而秦国上下对于天阉之人也非常的鄙夷，赵高数次参加秦国的秦律测试，虽然每次都是其中成绩最优秀的人，但选拔者却都会直接拒绝赵高。

直到秦庄襄王三年，嬴异人去世，临死前握着嬴政的手，向他诉说了赵升的功劳，然后告诉嬴政道“我听说赵升的儿子赵高是一个很有能力的人，年仅13岁就能够熟读秦国的律法，与人辩论也从来没有失误，但却因为身体原因而无法为官！”

“我虽然记着他父亲赵升的功劳，但却从来没有对赵高进行任何关照，也没有给予他任何帮助，只是让隐宫注意，别让他饿死就行，你知道这是为什么吗？”

嬴政摇头表示不知。

“这是我留给你的英才呀！”秦庄襄王道“赵高处于痛苦之中，那必然会对将他带离痛苦的人感恩戴德，报效终身。我若简拔于他，他会感恩于我而不是你。”

“若是由你来提拔他，则赵高必定会一生一世效忠于你。赵高乃是天阉之人，注定此生无后，死后也一无所有。所以他必定不会背叛于你，而会一生一世对你效忠。”