1927年3月，在国共合作面临分裂的严重关头，徐向前选定了自己的奋斗方向，由樊炳星、杨得魁两同志介绍，加入了中国共产党。
经历了大革命的风风雨雨与广州起义失败的磨炼后，徐向前在军事指挥上愈加成熟。1929年6月，徐向前受党中央派遣，到鄂东北任红一军31师副师长。1931年初，红1军与红15军合编组成红4军，徐向前任军参谋长，协助军长旷继勋指挥部队接连挫败国民党军对鄂豫皖苏区进行的第一、第二次“围剿”，7月任红4军军长。接着，徐向前与军政委曾中生率部南下，一个月内连克英山、罗田、浠水、广济四城，歼敌七个多团。
1931年8月，蒋介石在对中央革命根据地周围增兵的同时，又策划对鄂豫皖苏区发动新的“围剿”。为了统一指挥，加强红军建设，准备大规模的作战行动，中共中央决定由红1军和红15军组建红四方面军，下辖四个师、12个团，计3万余人。由徐向前担任总指挥兼红4军军长。