其实，河北发生叛乱，且规模大，范围广，绝非偶然，而是事出有因，或者说是多方矛盾爆发的结果。首先，河北叛乱的直接诱因，就是唐朝的地方官吏，对河北的窦建德旧部实行一系列的高压政策。
前文屡次提及，窦建德在河北享有极高的威望。因此，对于窦建德的兵败被擒，命丧长安，他的许多旧部，为此义愤填膺，心中积攒着熊熊怒火，总想为夏王窦建德报仇。一场阴谋，正在悄悄酝酿。
为了替窦建德报仇，这些窦建德的余党、旧部，展开了报复李唐的行动。怎么报复唐朝呢？自从窦建德兵败被杀后，他的旧部，纷纷聚集于河北，化整为零，散落在民间，抢夺藏匿了不少财物，并流窜于乡闾之间，横行霸道，为害一方。窦建德旧部的种种行为，严重影响了河北当地的社会治安，搞得人心惶惶，鸡犬不宁。
面对如此棘手的情况，着实令河北的唐朝地方官员，大伤脑筋。明眼人都能看出，这帮夏国余孽，是故意和大唐作对。如果长此以往，任其发展下去，势必会让夏国势力死灰复燃。与其到时候追悔莫及，还不如提前应对，防患于未然。因而，唐朝的地方官吏，决定采取强硬的高压政策，镇压蠢蠢欲动的窦建德余党，消弭隐患。
于是，唐朝地方官吏立即在河北境内，大量追捕窦建德余党，严加搜查，将他们绳之以法。关于如何处置窦建德、王世充余党，唐高祖早有指示，尽量以安抚、宽容为主，不要搞得满城风雨。
然而，留守河北的李唐地方官员，显然没有很好地贯彻皇帝的指示，不仅没能怀柔安抚，反而严酷镇压。纵使窦建德的旧部为非作歹，刻意挑衅，也要讲究合适的策略。这样一来，恰恰激化了双方矛盾。唐廷方面的大量追捕，使得许多窦建德的余党，开始惶惶不安，四处逃窜，心中更是加深了对李唐的憎恨。
由于窦建德余党的蠢蠢欲动，出于稳定河北局势的需要，当地的唐朝官员，实施了简单粗暴的高压政策，大张旗鼓地搜查与围捕，搞得许多夏国旧部人心不安，群情激愤。山雨欲来风满楼，这种不满、愤怒、仇恨的情绪，一旦积压到某种不能承受的限度，就会如同火山爆发，全部被释放出来。
终于，这个火药桶，还是被点燃了。对于唐朝的一系列军事化管理，不少窦建德旧部，开始躁动起来。他们觉得，李唐逼人太甚，简直不给我们活路，与其沦为案板上的鱼肉，倒不如直接反了。从此刻起，窦建德旧部中的一些人，开始私下密谋起事，打算时机一到，就立刻重树旗帜，兴兵反唐，恢复大夏政权在河北的统治。
很快，有两个人率先跳了出来，主动提出起兵反唐，谁呢？窦建德的两员旧将：高雅贤、王小胡。他们两个人，原本家在洺州，结果却遭到了当地唐朝官吏的围捕。为了躲避官吏的搜捕，高雅贤、王小胡二人，只得背井离乡，离开家乡洺州，逃亡至贝州。高、王二人来到贝州，揭开了河北叛乱的序幕。
高雅贤、王小胡刚来到贝州，恰恰这个时候，唐高祖李渊下令，征召贝州的窦建德故将范愿、董康买、曹湛以及高雅贤等人，前往长安。众人聚集在一起，商量对策。他们一致认为，李渊没安好心，征召夏国旧将入京，只怕是请君入瓮之计，要将众人一网打尽，与其等死，不如奋力一搏：
王世充以洛阳降唐，其将相大臣段达、单雄信等皆夷灭；吾属至长安，必不免矣。吾属自十年以来，身经百战，当死久矣，今何惜馀生，不以之立事。且夏王得淮安王，遇以客礼，唐得夏王即杀之。吾属皆为夏王所厚，今不为之报仇，将无以见天下之士！（《资治通鉴》）
从窦建德旧将密谋的一番话，能够得出两个结论。首先，他们以王世充君臣的下场为前车之鉴。洛阳之战，王世充一败涂地，向李世民投降，献出洛阳城。随后，大批洛阳的文武百官，与王世充一起投降李唐。结果，王世充麾下的主要将相段达、单雄信等人，被相继处死。就连王世充，也在流放途中死于非命。
有王世充君臣横死的教训，这些夏国旧将，对李唐王朝充满了不信任。在他们眼中，长安就是龙潭虎穴，一旦去了，便成了待宰的羔羊。所以，从自身安全的角度，长安也是万万不能去的。
其次，夏国旧将指出了一个非常犀利的问题，李唐无情无义，作为夏王窦建德的旧部，我们要为夏王报仇。不难看出，窦建德的被杀，对于唐王朝而言，产生了极为严重的副作用，形成了一连串的恶性循环。
应该说，唐高祖李渊执意处死窦建德，无疑是政治上的一项重大失误。窦建德之死，激起了河北旧部的公愤。想当初，窦建德攻打唐朝潼关以东地区，俘虏了唐高祖李渊的堂弟淮安王李神通。可是，窦建德并没有杀掉淮安王李神通，反而对他以礼相待。如今，窦建德兵败被擒，却被唐朝痛下杀手。因此，夏国旧将认为，李唐蛇蝎心肠，残忍狠毒，毫无人道主义可言。
的确，处死窦建德，是李唐王朝的失策之处。前文说过，窦建德为人宽厚，体恤百姓，从善如流，深受河北军民的爱戴与拥护。在河北地区，窦建德具有至高无上的威望。与王世充截然不同，史书中对他的评价，还是相当不错的：
建德义伏乡闾，盗据河朔，抚驭士卒，招集贤良。中绝世充，终斩化及，不杀徐盖，生还神通，沉机英断，靡不有初。及宋正本、王伏宝被谗见害，凌敬、曹氏陈谋不行，遂至亡灭，鲜克有终矣。然天命有归，人谋不及。（《旧唐书·窦建德传》）
正因如此，当听闻窦建德之死的消息时，河北地区的老百姓，还是感到非常悲伤，如丧考妣。甚至到了中晚唐（唐文宗年间）时期，河北一带，依然有祭祀窦建德的民俗。关于这一点，唐人殷侔撰写的《窦建德碑》，有着准确的记述：
唯夏氏为国，知义而尚仁，贵忠而爱贤，无暴虐及民，无淫凶于己，故兵所加而胜，令所到而服。……自建德亡，距今已久远，山东河北之人，或尚谈其事，且为之祀。知其名不可灭，而及人者存也。（《全唐文·窦建德碑》）
倘若当初，李渊能够刀下留人，保住窦建德的性命，利用窦建德的政治影响力，招抚河北各部。或许，效果会大不一样，河北的局势，可能就不是现在这个样子。唐高祖之所以坚决处死窦建德，很大一部分原因，是受了先前李密叛唐的影响，一朝被蛇咬，十年怕井绳，绝不能留下隐患。
于是，窦建德曾经的许多旧部，通过窦建德在河北军民中的崇高威望，以及为窦建德报仇的心态，大肆煽动舆论，上蹿下跳，密谋叛乱，只等万事俱备之后，便揭竿而起，正式与李唐开战。
既然决定起兵造反，当务之急，就要解决首领人选问题，必须要让一个有能力的人站出来，挑这个头。那么，让谁出来挑头呢？思来想去，他们打算用一种方式决定：占卜。经过占卜，得出了一个结论，只要让一个刘姓之人领导众人，则大事可成。所以，他们第一个想到的人，正是窦建德的旧将刘雅。
随后，众人找到刘雅，将谋反的计划和盘托出，希望刘雅可以出任起义军的首领。没想到，刘雅断然拒绝，这可是抄家灭门的谋逆之罪，他可不想为此丢了性命，说道：“天下适安定，吾将老于耕桑，不愿复起兵！”看到刘雅这么不配合，众人勃然大怒，又担心刘雅向唐廷告密，索性一不做二不休，便将刘雅杀死灭口。
杀掉刘雅后，很快，又有一个刘姓之人，浮现在众人的脑海之中，谁呢？汉东公刘黑闼。那么，这个汉东公刘黑闼是何许人也？为什么众人会看中他呢？老实讲，在夏国诸将当中，刘黑闼的确非常出类拔萃。
刘黑闼，贝州漳南县（今河北省故城县）人，与窦建德是同乡。根据史书记载，刘黑闼年轻时，狡诈蛮横，嗜酒好赌，不治产业。因此，刘黑闼家境贫寒，经常要依靠窦建德的资助度日。
后来，隋末战乱，刘黑闼投奔了农民起义军首领郝孝德，不久加入瓦岗军，被李密任命为裨将。可是，好景不长，洛阳北邙山之战，瓦岗军大败，刘黑闼被王世充俘虏。王世充素来听闻刘黑闼勇猛善战，便对他委以重任，拜为骑将，率兵驻守新乡。
虽然，王世充对刘黑闼给予高官厚禄。但是，刘黑闼一直瞧不起王世充，耻于在其麾下效命。不久，趁王世充不备，刘黑闼公然率部，逃回河北，投奔自己的同乡好友夏王窦建德。看到刘黑闼率部来投，窦建德大喜过望，任命他为将军，封汉东郡公，并且命刘黑闼率领军队，东西袭击。
刘黑闼投奔窦建德后，经常率军冲锋陷阵。而且，刘黑闼本人也足智多谋，对各路敌军的虚实，了如指掌。譬如，每次打仗之前，刘黑闼必派斥候侦察，有时还深入敌后，实地考察，再发起突袭。故而，刘黑闼每战总能大获全胜，军中之人都称他神勇异常，是夏军中的第一名将：
黑闼既遍游诸贼，善观时变，素骁勇，多奸诈。建德有所经略，必令专知斥候，常间入敌中觇视虚实，或出其不意，乘机奋击，多所克获，军中号为神勇。（《旧唐书·刘黑闼传》）
武德四年（621年）五月，虎牢关之战，窦建德兵败被擒，夏国灭亡。刘黑闼被迫解甲归田，藏匿于漳南老家，每天以种菜为生，闭门不出。实际上，刘黑闼也是在暂时蛰伏，等待时机。
终于，有人找到刘黑闼了。夏国旧将杀死刘雅后，自然想起了隐居在家的刘黑闼。由于刘黑闼之前的经历，众人一致认为，他是反唐领袖的不二人选。最先推举刘黑闼为主公的人，正是窦建德旧部中的范愿，他对大家说：
汉东公刘黑闼果敢多奇略，宽仁容众，恩结于士卒，吾久常闻刘氏当有王者，今举大事，欲收夏王之众，非其人莫可。（《旧唐书·刘黑闼传》）
听了范愿的提议，众人纷纷表示赞同，如果一定要让刘氏为王，刘黑闼实至名归。打定主意后，众人一起前往，拜谒刘黑闼。当时，刘黑闼正在田间种菜，众人来到之后，据实相告，说明来意。结果，刘黑闼没有像刘雅那样不识抬举，而是欣然接受。刘黑闼蛰伏了这么长时间，就是在等待这一刻。
然后，刘黑闼宰杀了自家的耕牛，置酒宴请夏国诸将。在酒宴上，刘黑闼当场拍板，定下了反叛李唐的大计。至于刘黑闼，自然而然地成为了叛军首领。很快，刘黑闼纠集了一百余人，准备发难。
武德四年（621年）七月十九日，趁着唐军不备，刘黑闼率领叛军，迅速袭占了漳南县城。至此，河北叛乱，正式开始了。一场威胁李唐中原之主地位的军事浩劫，如同狂风暴雨般，席卷而来！
唐朝建国之后，为了应对随时突发的军事危机，唐王朝实行了一种军事制度，于各道设置行台尚书省，无事则中止。设置行台尚书省，仅仅是一个临时性的军事机构，用于解决紧急军情。
当得知刘黑闼起兵作乱的消息后，李唐朝廷立即在洺州设置山东道行台，魏、冀、定、沧四州，并置总管府，由淮安王李神通出任山东道行台右仆射，负责指挥河北唐军各部，围剿刘黑闼叛军。