在很多影视剧中我们都能看到日本军官佩带军刀的场景。自日本战国时代以来，军刀作为武士的特权而成为身份的象征。

后来，日军以武士道思想治军，军刀更成为军官随身携带的必须物品。其实，自19世纪末以来，军刀的实用价值已经走到了尽头，同时代的欧洲军刀只作为礼仪用具出现。到二战时为了避免军官太显眼，德军甚至一度取消了武装带的军官饰物。因而日军军官还佩带目标明显的军刀，已经不合时宜。在中国战场，广大抗日军民都以“穿黄呢军装，佩军刀”的军人为首选击杀目标。而在很多场合，佩带并不轻便的军刀也十分不便。“九一八”事变的策划者之一的石原莞尔就是在一次下马时不小心让刀柄扎了一下裆部，结果长期尿血，最后早死且无后。

由于军刀系煅打而成，因而具有磁性，所以对罗盘有一定影响。当年美军飞行员发觉日军飞行员航线奇异，以为是为规避追击。对这种事情有经验的飞行员还能改出，而那些菜鸟就只能飞到天照大神那去了。

不过，小鬼子军刀也绝非无用，很多抗日老兵都拿缴获的鬼子军刀切个西瓜什么的，由于制造精良，经久不锈。