1940年百团大战后各个部队减员严重，官多兵少的现象十分突出，而战斗部队的缺额却因人员不足而得不到及时的补充，而且也不能另外再补充人员了，因为根据地的经济状况很差，已经无力再承担更多人员的生活负担。现象十分明显，一头多一头少。多的不能产生战斗力，少的又不能胜任日益艰苦的斗争要求。结论也十分明显，要削多补少，要削肿治臃。
经过1941年和1942年这两次大规模“肃正作战”和一系列一般性扫荡，冈村宁次在华北初步得手。
八路军正规部队被迫撤至更深远的山区，有些主力部队化整为零，以敌后武工队的形式留下来坚持斗争。由于根据地面积锐减，无法供应庞大的部队和各类机关的给养，出于这个最基本的原因，中共中央开始实行“精兵简政”。
真正使各级领导认识到必须下大力气抓精简，还是1942年5月反“扫荡”之后。这次“扫荡”，八路军总部因为机关庞大，行动迟缓，被日军包围。经过苦战，虽摆脱了敌人，但左权却在突围过程中牺牲了，造成了无法弥补的损失。129师在其后的反“扫荡”作战中，也因后勤梯队庞大，致使在突围过程中遭受了损失。
5月反“扫荡”之后，刘伯承常对师直属队的干部说：“我们的指挥机关还是庞大，特别是有些工作人员不会军事行动，很不适应打仗。每逢行军作战，我就像背着真空管的收音机去赶场，提心吊胆，老怕碰破。”
毛泽东说：“目前我们须得变一变，把我们的身体变得小些，但是变得更加扎实些，我们就会变成无敌的了。”中共中央一针见血地指出：“敌后抗战能否长期坚持的最重要条件，就是这些根据地居民能否养活我们，能否维持抗日的积极性”，“我党政军均应了解，假若民力很快消耗，假若老百姓因负担过重而消极，而与我们脱离，那么不管我们其他政策正确与否也无济于事。”
精兵，就是缩编主力部队和指挥机关，充实连队。主力军部分实行地方化，加强地方武装和民兵，加紧整训，提高战斗力。简政，就是整顿机构和组织，紧缩机关和人员编制，加强基层，提高效能，节约人力物力，反对官僚主义。
精兵简政，解决了机构庞大和受到战争破坏的社会经济缺乏足够承受能力之间的矛盾，减轻了人民的负担，是使我各抗日根据地能够渡过极端困难时期的一项重大措施。
负责129师精简工作的邓小平讲得更为具体一些：“减少人民对抗日的负担，……减轻人民对我们的负担，从两方面着手：第一精兵简政，减少脱离生产人员；第二，机关部队本身生产节约，反对贪污浪费，自己解决部分经费。”在具体实施中，邓小平要求极其严格，将边区地方党、政、群众团体脱离生产人员的编制大为紧缩。以县一级的编制为例：精简后的大县机关50—60人；中等县40—50人；小县30—40人。而精简前一个县机关有时就有500—600人。
规定专署、县、区各级如增加1人都须经“冀太联办”批准；边区、太行区两级增加1人，要经太行军政委员会讨论通过，否则，财粮部门丁拨粮食，不给经费。令行禁止，毫不通融。
当时不存在干部的终身制，也不存在只上不下的情况，精简后的很多干部，什么去向的都有，年轻力壮的被动员参军，老弱的、家在本地区的被动员回家，家在外地区的安置到农村工作。有的县区干部回到农村后，或去开荒种地、养猪、养羊，或在商店、合作社工作。
1942年在八路军的三大主力师中，贺龙的120师人数由35000缩减至27000人；陈光担任代师长的第115师及山东分局、山东纵队司令部，仅三大机关就由1万人精简为 3500人；刘邓的第129师师直、第385旅、新1旅和各军分区，由原来420个单位减至269个单位，人员也精简了1／3。
晋察冀边区动作稍迟，转年8月5日中共中央致电晋察冀分局指出：“你们现在只有80万人口的比较巩固的根据地，其他能收公粮的90万人口是处在游击区中，而你们连马匹折合计算尚有8万多人脱离生产，这是不能持久的。目前你们应即下决心减去3万，只留5万，指示，该边区又进行了一次较为彻底的精兵简政。其中文武比例，应是文一武四。”依照中央指示，该边区又进行了一次较为彻底的精兵简政。
一个极其重要的政策（一九四二年九月七日） 这是毛泽东为延安《解放日报》写的社论。 自从党中央提出精兵简政这个政策以来，许多抗日根据地的党，都依照中央的指示，筹划和进行了这项工作。晋冀鲁豫边区的领导同志，对这项工作抓得很紧，做出了精兵简政的模范例子。但是还有若干根据地的同志们因为认识不够，没有认真地进行。这些地方的同志们还不理解精兵简政同当前形势和党的各项政策的关系，还没有把精兵简政当作一个极其重要的政策看待。关于这件事，《解放日报》曾多次讨论，今愿更有所说明。
党的一切政策，都是为着战胜日寇。而第五年以后的抗战形势，实处于争取胜利的最后阶段。这个阶段，不但和抗日的第一第二年不相同，也和抗日的第三第四年不相同。抗日的第五第六年，包含着这样的情况，即接近着胜利，但又有极端的困难，也就是所谓“黎明前的黑暗”的情况。这种情况，整个反法西斯各国在目前阶段上都是有的，整个中国也是有的，不独八路军新四军的各个根据地为然，但是尤以我军的各个根据地表现得特别尖锐。我们要争取两年打败日寇。这两年将是极端困难的两年，它同抗日的开头两年和中间两年都有很大的不同。这种特点，革命政党和革命军队的领导人员必须事先看到。如果他们不能事先看到，那他们就只会跟着时间迁流，虽然也在努力工作，却不能取得胜利，反而有使革命事业受到损害的危险。敌后各抗日根据地的形势，截至今天为止，虽然已比过去增加了几倍的困难，但还不是极端的困难。如果现在没有正确的政策，那末极端的困难还在后头。普通的人，容易为过去和当前的情况所迷惑，以为今后也不过如此。他们缺乏事先看出航船将要遇到暗礁的能力，不能用清醒的头脑把握船舵，绕过暗礁。什么是抗日航船今后的暗礁呢？就是抗战最后阶段中的物质方面的极端严重的困难。党中央指出了这个困难，叫我们提起注意绕过这个暗礁。我们的许多同志已经懂得了，但是还有若干同志不懂得，这就是必须首先克服的障碍。抗战要有一个团结，在团结中有各种的困难。这个困难是政治上的困难，过去有，今后还可能有。五年以来，我党用了极大的力量逐步地克服着这个困难，我们的口号是增强团结，今后还要增强它。但是还有一个困难，就是物质方面的困难。这个困难，今后必然愈来愈厉害。目前还有若干同志处之泰然，不大觉得，我们就有唤起这些同志提起注意之必要。各抗日根据地的全体同志必须认识，今后的物质困难必然更甚于目前，我们必须克服这个困难，我们的重要的办法之一就是精兵简政。
精兵简政何以是克服物质困难的一个重要的政策呢？很显然，目前的尤其是今后的根据地的战争情况，不容许我们停留在过去的观点上。我们的庞大的战争机构，是适应过去的情况的。那时的情况容许我们如此，也应该如此。但是现在不同了，根据地已经缩小，在今后的一个时期内还可能再缩小，我们便决然不能还像过去那样地维持着庞大的机构。在目前，战争的机构和战争的情况之间已经发生了矛盾，我们必须克服这个矛盾。敌人的方针是扩大我们这个矛盾，这就是他的“三光”政策。假若我们还要维持庞大的机构，那就会正中敌人的奸计。假若我们缩小自己的机构，使兵精政简，我们的战争机构虽然小了，仍然是有力量的；而因克服了鱼大水小的矛盾，使我们的战争的机构适合战争的情况，我们就将显得越发有力量，我们就不会被敌人战胜，而要最后地战胜敌人。所以我们说，党中央提出的精兵简政的政策，是一个极其重要的政策。
但是，现状和习惯往往容易把人们的头脑束缚得紧紧的，即使是革命者有时也不能免。庞大的机构是由自己亲手创造出来的，想不到又要由自己的手将它缩小，实行缩小时就感到很勉强，很困难。敌人以庞大的机构向我们压迫，难道我们还可以缩小吗？实行缩小就感到兵少不足以应敌。这些就是所谓为现状和习惯所束缚。气候变化了，衣服必须随着变化。每年的春夏之交，夏秋之交，秋冬之交和冬春之交，各要变换一次衣服。但是人们往往在那“之交”不会变换衣服，要闹出些毛病来，这就是由于习惯的力量。目前根据地的情况已经要求我们褪去冬衣，穿起夏服，以便轻轻快快地同敌人作斗争，我们却还是一身臃肿，头重脚轻，很不适于作战。若说：何以对付敌人的庞大机构呢？那就有孙行者对付铁扇公主为例。铁扇公主虽然是一个厉害的妖精，孙行者却化为一个小虫钻进铁扇公主的心脏里去把她战败了。柳宗元曾经描写过的“黔驴之技”，也是一个很好的教训。一个庞然大物的驴子跑进贵州去了，贵州的小老虎见了很有些害怕。但到后来，大驴子还是被小老虎吃掉了。我们八路军新四军是孙行者和小老虎，是很有办法对付这个日本妖精或日本驴子的。目前我们须得变一变，把我们的身体变得小些，但是变得更加扎实些，我们就会变成无敌的了。
