李卫在江南当过县官，也当过知府，光是江苏巡抚就做过三届，两江总督也做了六年之久。他有一支子孙留在了江南，但是知道的人并不多。这支子孙其实是过继给他的小舅子的，所以大家都不知道他们是李卫的种。后来李卫得罪了乾隆皇帝，乾隆皇帝嫌弃李卫是一个目不识丁的无赖，故意作弄李卫。其实李卫自从当官后，一面和贪官污吏作斗争，一边已经慢慢地在夫人的教导下读书写字。虽然不能和正儿八经的读书人相提并论，但是也是一个识文断字的人。明知道乾隆皇帝故意作弄他，他索性装傻装到底。没想到李卫的儿子李小卫看不过去了，竟然和乾隆皇帝叫板。直接导致李家父子不但罢官丢爵，而且陷入了政治漩涡之中。由于没有了雍正皇帝的宽容，又遇上斤斤计较的少年天子乾隆皇帝，李卫觉得大事不妙。所以偷偷派人给江南的李家传话，要是李卫出事的话，千万不要出来送死。后来李卫的事情过去了，李家刚好有两个后代，一个依然姓奶奶娘家的姓，一个改回姓李。
咸丰年间，江南出了一个奇才，他的名字叫李文。他不但知识渊博，而且精通兵法，有当世“小诸葛”之称。刚好这时候广|西太平军起事，战火马上烧到了江南。本来不想当官的李文，为了老百姓，为了天下太平只好关注这场战事。还好太平军只打到了南|京后，没有继续北上，这给清政府有了整顿和喘息的机会。李文北上，力劝当时称病在家的曾国藩抛弃成见，出来主持大局，平定太平天国起义。为此李文自愿留在曾国藩的大军之中，担任随军参谋。可以说曾国藩后来能平定太平天国。第一是因为上下一心，第二是因为将士敢于拼命，第三就是李文的神机妙算。湘军中的大多数将领其实都是李文的学生，李文不光教大家军事知识，而且帮他们处理家务。大家都尊敬地叫李文“先生”或者“大先生”。
李文一边给曾国藩当军师，给大家上课扫盲，一边带大了两个年幼的弟弟。二弟李牧不但写得一手好字，而且心算本事天下一绝。李牧曾经在军营里当过代理师爷，负责财务管理。他做的账目据说比一些老手还要出色，大家都不敢相信李牧有这手本事。老三李默虽然年纪还小，但是他的出色判断力，让曾国藩也感到吃惊。曾国藩曾经说过，李文是最好的师爷，李牧是最好的财务总管，李默将会是真正的统帅。将来李家三兄弟的未来，将会十分惊人。
太平天国战乱平定后，清政府决定召回曾国藩。这时候曾国藩已经是一个大英雄，而且手握重兵，亲信几乎控制了大半汉人军队。李文曾经私下问过曾国藩，想没有想过要自己当皇帝，曾国藩说绝对没有这种想法。当李文得知曾国藩已经没有太大野心后，建议曾国藩分几步走，彻底消除清政府对他的疑虑。曾国藩拥兵自重，再加上他并不是满族人，对于朝廷来说威胁太大了。不要说是众多满族大臣和皇亲国戚了，就是小皇帝和他的两宫皇太后都对曾国藩耿耿于怀。曾国藩要是有野心的话，李文建议曾国藩不要进京，更不要离开自己的大本营，到时候找机会自己独立。要是曾国藩不想背叛朝廷，想当一个名臣的话，李文建议曾国藩一边继续控制军队，一边去京城和朝廷讲条件。要是曾国藩已经完全没有了野心，只想自己和手下能够得到富贵的话，李文建议曾国藩主动交出军权，用手中的兵权换取朝廷的信任和自身富贵。曾国藩再三考虑之后，决定实行第三种方案，这样做看上去最不值得，其实后福最大。李文建议曾国藩不要计较个人的得失，也不要马上向朝廷要富贵，只是表达愿意服从朝廷和皇太后的安排就可以了。到时候朝廷就会主动示好，请曾国藩进京商谈。曾国藩进京之后可以张扬一点，更可以炫耀一点，但是要注意对皇太后等人的尊敬。当对方提出兵权和军队安置问题时，曾国藩主动提出不插手处置，并要求大部分军官分散安置的要求。为什么要分散安置呢？军官们在一起，朝廷就会担心他们不稳定，就会时时刻刻关注他们，一有个风吹草动就会马上下手处理。与其在一起被外人监视，不如分散开来。这样做不但不会全军覆没，而且不会引起朝廷的注意。再说了战乱已平定，朝廷不会养着这么多的武将，再加上满族将领需要重新坐镇地方，所以众多有功将领就会转为文职安置在地方。以现有的湘军众多将领的品级和职务来说，朝廷起码要拿出十多名高级官员职务，上百名中级官员职务，数百名底层官员职务才能安置得了。这些人一旦到了地方，就是曾国藩的后台，也就是曾国藩的亲信。一旦朝廷像对曾国藩或者湘军下手的话，就会引起轩然大波。为了地方安定，为了安抚有功之臣，朝廷也好，皇室也好都会善待曾国藩和湘军。
曾国藩听从了李文的建议，马上回京和朝廷谈判。曾国藩的表现令朝廷和皇太后大喜，大家都以为曾国藩会留恋权势，不愿意交出兵权。朝廷已经没有精力和金钱再和曾国藩打仗了，更担心地方汉人们作乱，所以不敢对曾国藩逼得太紧。没想到曾国藩主动提出交出兵权，条件只不过是要求安置将士和抚恤阵亡士兵而已。朝廷马上答应曾国藩的请求，不但要重赏有功之臣，而且答应让曾国藩做一个名臣榜样。不久之后曾国藩出任军机处大臣，爵位升至一等侯，这是清代以来汉人得到的最高荣誉。湘军中的高级将领也得到了安置，三名出任地方总督、七人担任地方巡抚、十三人出任布政使或者按察使，五十多人出任道台，七十多人当上了知府，五百多人出任地方知县。最南到南海，最北到东|北，东起上|海，西到四|川、云|南，这批湘军转业到地方的官员，其实已经形成了自己的力量。曾国藩的手下虽然失去了军权控制，但是实力遍及了全国各地，他的亲信占据了全国四分之一的实权，数量几乎和所有满族官员相等。只不过满族官员主要在京城和重要部门，曾国藩的势力在基层和下级官员。曾国藩不但成为了晚清第一名臣，而且成为了一个侯爷，大家都在人前人后对他称之为“曾侯”。
李文也是有功之臣，朝廷对于这个汉人很头疼。以李文的功劳来说，不要说是地方上的总督了，就是出将入相也是绝对足够了。再说李文不但有战功，而且是当世奇才，在地方威信也很高。可是李文不但是一个汉人，而且是一个不愿意完全服从于朝廷的汉人。当年李文在家乡出名的时候，朝廷就曾经多次效仿前人去求贤过。李文不是装作不知道，就是有意避而不见，甚至于有一次当众戏弄一名满族官员。朝廷担心李文当上大官，掌握实权后会不会出大问题。还好李文和曾国藩一样，不但主动表示不要朝廷的嘉奖，而且对朝廷表示效忠。慈禧皇太后亲自决定，请李文出任她儿子同治皇帝的帝师。李文实在推脱不了，只好当了三年的帝师。
李文的二弟李牧，由于襄赞军务有功，虽然只有十九岁，但是已经成为朝廷正五品官员。朝廷绝对不会因为一个李牧的职务，得罪曾国藩和李文，所以给了李牧一个很好的职务。从此李牧留在了海关，成为海关总署下属的中层官员。李牧多次出任天|津、上|海等地海关的重要职务，为朝廷为中国把守门户。