朱元璋从缪大亨那些招降的士兵当中挑选出二万精兵，加上自己原有的士兵，已有两万五千多人，加上地方小武装，接近3万之众。他非常重视部队质量，认为兵不贵多，而贵在精，精兵强将的战斗力可以战胜数倍于己的敌人。
朱元璋亲自训练，在训话的时候对这些士兵说：“你们以前与别人作战，没有获胜，并没有其他的原因，而是由于军纪不整，人心不齐，军心不稳，训练不系统，所以必然会败下阵来。现在我之所以严格训练你们，就是为了作战的时候能够勇敢向前，像一个真正的男子汉。你们必须服从命令，努力训练，当兵打仗要有立功受赏之志，要有建功立业思想，所以要万众一心，严训练，严守纪，知进止，奋力杀敌。在这里当兵，赏罚一定能兑现，拼力受赏，不进受罚，如有违抗命令，就要杀头。”
在朱元璋的悉心训练下，这群人训练极为刻苦，时间不长，就成了一支能征善战的队伍，屡屡打败元朝的军队，而且军纪非常严明，鲜有扰民之事。