1871年4月,日本政府从长州、萨摩、土佐等藩中征调一万精兵入京,组成天皇的“御亲兵”,同年8月,日本废藩设县,兵权收归中央,建立东京、大阪、镇西、东北四个镇台。1872年4月,天皇“御亲兵”改为“近卫兵”。

1873年,日本颁布征兵法,并通过了山县有朋等人提出的该雇佣兵制为义务兵制的提案,同时,日本陆军蒋原来的四个镇台扩编为东京、仙台、名古屋、大阪、广岛、熊本等六个镇台。共编成步兵14个联队,骑兵3个大队,炮兵18个中队,工兵10个小队,辎重兵6个队,总兵力4万人,这也是日军建立现代化军队的开始。1885年,日本陆军扩编,总共编成步兵28个联队,骑兵7个大队,野战炮兵7个联队,辎重兵7个大队。

1888年,为了适应野战和对外战争的需要,日本政府推行编制改革,逐步该镇台制为师团制,原来的6个镇台改编为6个野战师团,师团下辖两个旅团,旅团下辖两个联队,仿效德国陆军,在师团中配属独立作战所需要的各种兵器,使其成为多兵种合成编组的独立作战单位。1891年,为警卫皇宫又成立近卫师团。

1894年甲午战争爆发,日本打败了清政府,战后日本和沙俄的矛盾逐渐激化,为了准备和沙俄交战以及进行新的侵略扩张,1898年日本又新建了编号7到12这六个师团

1904年日俄战争爆发,日军13个师团不能满足作战需要,在战争中又新建了编号13到16的四个师团,日俄战争日本取胜后又新建了17、18师团,1910年,日军大本营提出要新建两个师团作为朝鲜的常驻军,这个议案在1915年被国会通过,又新建了19、20师团.

一战以后世界经济萧条,各国都在裁军,日本同样在1922年到1925年期间进行了三次大规模裁军,撤销了13、15、17、18四个师团的编制。

1937年全面抗战爆发,日本由于侵略需要,恢复了13、18师团番号,新建了26、101、108、109、114这五个师团.

1938年,随着侵略战争的扩大,日本恢复了15、17师团番号,新建了21、22、23、27、104、106、110、116这八个师团.

1939年,日本新建了24和32到41这11个师团,撤销了109、114师团。

1940年,日本新建了25、28、48、51、52、54、55、56、57这九个师团,撤销了101、106、108师团。

1942年,为了太平洋战争的需要,日本新建了58、59、60、68、69、70、71这七个师团。

1943年,世界反法西斯形势开始改变,日本为了应付美国在太平洋战场上的反攻,新建了近卫第2、30、31、42、43、46、47、61、62、63、64、65这十二个师团。

1944年,日军为了发动一号作战而新建了近卫第3、44、49、50、66、72、73、77、81、84、86、91、93、94、100、102、103、105、107、111、112、115、117、118、119、120师团,并重建了108、109、114师团,总计29个师团。

到了1945年,日本败局已定,为了挽救危局日军极力扩充军队,在几个月内就拼凑了79、88、89、96、121至140、142至157、160、161201、202、205、206、209、212、214、216、221、222、224、225、229、230、231、234、303、308、312、316、320、321、322、344、351、354、355等69个师团。