1937年全面抗战爆发后，我党与国民党进行了第二次合作，根据协议，红军整编为八路军，南方8省14个地区的红军和游击队编为新四军。然而，八路军，新四军番号的由来却颇费周折。
1937年2月中旬至3月上旬，周恩来等赴西安，同国民党就红军改编和开赴抗日前线进行谈判。3月下旬至4月初的第二次会谈，5月2日至14日的第3次会谈，由于国共两方分歧过大无果。
就在国共谈判进行不下去的时候，卢沟桥事变爆发了。7月17日，周恩来到庐山同蒋介石举行第4次会谈，谈判仍然无果。1937年8月13日，日军大举进攻上海，蒋介石在调动国军淞沪会战的同时，迫于形势，同意了红军改编为八路军。
中共中央在针对八路军领导权的同时，对新四军整编中的领导权也同样重视。叶挺担任军长的过程和新四军番号的由来就说明了这一点。
叶挺1924年加入中国共产党，1925年参与组建以共产党员为骨干的第四军独立团，任团长。1926年8月下旬，在进攻湖北重镇汀泗桥和贺胜桥战役中，面对吴佩孚3万余精锐主力，第四军叶挺率独立团2000余名勇士勇猛血战，获“北伐名将”之美誉，第四军亦有“铁军”之称，喻“独负盛名，战绩辉煌”。北伐军占领武汉后，升任第十一军第二十四师师长。1927年南昌起义任前敌总指挥兼第十一军军长，广州起义任工农红军总司令。中国人民解放军创始人之一。开国军事家，广州起义失败后，叶挺受到不公正指责和对待，流亡国外。1932年到澳门居住。1937年“七七事变”后，他结束流亡回到国内。1937年“八一三”事变后，叶挺向蒋介石提出为抵抗日本侵略，“让我来集合仍留在南方的红军和改编这些军队”的建议，并说改编后番号叫“新四军”。蒋介石接受了叶挺的建议，番号则得到国共两党的认可。
毛泽东虽认可“新四军”这个番号，但对叶挺改编南方红军游击队却不完全放心，因为叶挺已不是共产党员，所以没有推选叶挺为军长人选，中共推选的是叶剑英，国民党反对。国民党提出陈诚指挥“新四军”，中共不同意。国共两党在南方游击队改编后由谁指挥这支抗日武装相持不下。1937年9月28日，蒋介石突然单方面委任叶挺为新四军军长。在蒋介石看来，叶挺在国外过了10年流亡生活，已脱离共产党且失去了共产党信任，想乘机把叶挺拉过去，通过叶挺把红军游击队抓在自己手里。
中共中央没有立即同意叶挺就任新四军军长，因为叶挺长期寓居海外，虽然归国后见到周恩来时有一个表态，但中央对他的政治态度和立场还缺乏全面掌握，需要有一个考察了解的过程。10月9日，毛泽东致电正在南京同国民党谈判的博古和叶剑英，询问叶挺是否愿意恢复党籍或完全接受党的领导，而不受国民党的干涉，并是否愿意到延安来一趟。叶挺获知后明确表示，愿意接受中国共产党的领导，并决定赴延安。
1937年10月12日，国民政府军事委员会宣布，南方8省14个地区（不含琼崖）的红军和游击队，改编为国民革命军陆军新编第四军，军长叶挺，副军长项英。中共认可叶挺任新四军军长，同时决定成立以项英，陈毅为正副书记的军委新四军分会，以加强党对新四军的领导。
11月3日，叶挺到达延安，受到热烈欢迎,毛泽东致词：“我们今天为什么欢迎叶挺军长呢?因为他是大革命时代的北伐名将，因为他愿意担任我们新四军军长，因为他赞成我党的抗日民族统一战线的政策，所以我们欢迎他。”叶挺激动地说：“同志们欢迎我，实在不敢当，革命好比爬山，许多同志不怕山高，不怕路难，一直向上走。我有一段爬到半山腰又折回去，现在又跟上来。今后，一定遵照党所指示的道路走，在党和毛主席正确领导下，坚决抗战到底。”
11月9日，叶挺告别延安回到武汉。12月25日，新四军军部在汉口成立，叶挺正式担任新四军军长，项英为副军长。
1938年1月6日移驻南昌，2月部队开始集结整编，全军辖4个支队，共10300人。
第一支队，陈毅任司令员，傅秋涛任副司令员，辖第1团，第2团，全支队共2366人。
第二支队，张鼎丞任司令员，粟裕任副司令员，辖第3团，第4团，全支队共2700人。
第三支队，张云逸兼司令员，谭震林任副司令员，辖第5团，第6团，全支队共2100人。
第四支队，高敬亭任司令员，林维先任参谋长。下辖第7团、第8团、第9团和手枪团，全支队共3100人。
新四军组建后深入华中敌后英勇抗战，屡建奇功，到1945年抗日战争结束时部队发展到30余万人。
