他在江南主持军务的时候，因为根本不懂军事就一心捞钱，大小事务完全依赖胡宗宪。胡宗宪剿灭徐海，俘获陈东，赵文华以大捷上报，归功于上玄，世宗大喜，祭告郊庙社稷加文华为少保。非常文学

这是明显的抢功行为，但严嵩父子却默许了，甚至写信给胡宗宪，让他将功劳让给赵文华。

可以说，赵文华之所以能够身居高为，甚至入阁有望，都是严党一手扶持所致。

可惜这人在做到六部的堂官之后，日益骄狂不将严嵩和严世藩放在眼里，触怒了小严，被开除出了严党阵营。

年前李炜父子修葺玉熙宫，因为进度缓慢，嘉靖又急着在要搬进去过年。心中烦躁，登高巡视，却发现宫外西长安街有一处府邸甚是华美，起精致恢弘处，已与陆炳、严嵩府比肩。

便问这是谁家宅第，当是，严嵩正好在皇帝身边，一想到赵文华居然叛出严党就有心摆他一道。

想起赵文华，严嵩就来气。这人之所以能够有今天这种地位，还不是他一手扶植。可以说，赵尚书是严党仅次于胡宗宪的一面大旗，连这人都叛变了，对严党的打击极大。若不乘机收拾掉立威有如何能稳定住浮动的人心？

于是，严嵩就举报赵文华在江浙前线贪污腐化，杀良冒功，欺骗朝廷。

嘉靖皇帝本来就看赵文华的华宅不顺眼：陆炳和严嵩的宅子宏伟且不说了，他们之所以能够如此富贵可是朕默许了的，是朕的恩典。你赵文华什么玩意儿，老子现在连住的地方都没有，你凭什么住得这么好？

见嘉靖同了怒，严嵩心领神会，下去之后，立即让人上了一道弹劾折子，又说赵文华在主持南方战事期间得了病，身体欠佳，不宜再担任尚书一职。

嘉靖批示：文华既有疾，可回籍休养。

就这样，将他从工部尚书上拿了下来。

事发期间，吴节并没在西苑当值。后来他看到邸报之后，又同黄锦谈论过这事，这才知道事情的先后原委。

一提起赵文华，黄锦当时就笑了笑：“此人虽然是进士出身，可圣贤书都不知道读到哪里去了。一旦得势之后，就目高于顶，什么人都看不上。为人又狂妄骄横活脱脱一个小人，就连他的老上司严阁老，也敢倒打一筢。怎么说呢，借士贞你《石头记》中的一句。‘子系中山狼，得志便猖狂，。现在可好，丢了官位，不但他以前所得罪过的清流拍手称快。就连严党也是弹冠相庆，做人做到天怒人怨，人见人憎的地步，也真够失败的。到如今赵文华就是个狗不理，孤家寡人一个。”

按照真实历史的记载，赵文华失势之后，准备回到慈老家养病。恰逢其子锦衣千户赵怿思以斋祀停封章日请假送父，世宗大怒，借此黜文华为民，其子遣戍边卫。