郑州这个地名，最早始于隋文帝杨坚开皇三年，公元583年。进入唐朝后，国都在长安，东都在洛阳。郑州和开封（时称汴州）的地位和规模都差不多。以开元年间为例，郑州辖管城、中牟、阳武、原武、荥泽、荥阳、新郑，人口36.7万。汴州辖开封、浚仪、陈留、封丘、尉氏、雍丘，人口57.7万。
进入五代，中原各王朝（不包括后唐）把北方的中心，从原来的洛阳，绕过郑州，迁到开封。作为天下强国的国都，开封称东京汴梁，一步步发展成为世界上最繁华的城市。而郑州，从唐朝东都洛阳的“围观群众”，变成了宋朝东京开封的“围观群众”。
五代时的郑州，地位并不高。赵匡胤篡位建宋时，把郑州提升到了“防御州”的位置，可见郑州在五代连“防御州”都不是。在宋朝，节度州已不具有晚唐、五代时的实权，但依然象征着行政级别。从公元960年，到宋仁宗皇祐五年（1053年）的近百年时间内，郑州一直不是节度州。直到这一年年底（阳历为1054年初），朝廷认为郑州的发展足够升为节度州，决定升郑州为奉宁军。
宋仁宗很看重郑州之于开封的“辅郡”地位，但到了他的“养孙”宋神宗时，对郑州的重视程度大幅大降。
宋神宗在王安石的支持下，立志变法图强。当时北宋著名的“三冗（冗员、冗兵、冗费）”问题困扰着君臣，要节省行政成本，那就必须缩减州县，减少冗员、冗费。朝廷开始着手缩减州县，而郑州是天下州县中距离国都东京开封府最近的。拿郑州“开刀”，把郑“州”降为郑“县 ”，有比较强的示范意义。
宋神宗时的郑州，规模并不大，已不复唐朝时的繁华了。时人有诗写郑州的狭小，云：“南北更无三座寺，东西只有一条街。四时八节无筵席，半夜三更有界牌。”不仅是宋神宗，从宋初历经一百多年的发展，到北宋快灭亡时，郑州人口也只有四万多人，约为唐朝极盛时郑州人口的十分之一。人口少，就意味着朝廷税收的减少，同时朝廷还要向郑州派很多官员，各种行政成本累加，不是个小数字。
事实上，这是郑州百姓上奏朝廷，请降郑州为县，朝廷这才顺水推舟的。如果降低郑州的级别，一年能为朝廷省下几十万贯成本，这对缺钱的宋神宗君臣很有吸引力。至于有人不赞同降低郑州的级别，王安石趁机放了曾公亮重臣一支冷箭。王安石说有些士大夫（曾公亮）在郑州办置土地产业，自然不想降郑州为县。
宋神宗最反感士大夫出于一己之私阻挠新政（曾公亮曾是王安石新政的坚定支持者），加上王安石力陈降郑州为县的各种好处。在派专员调查研究之处，宋神宗下定了决心。熙宁五年（1072年）八月五日，宋神宗下诏，正式撤销郑州。郑州所辖诸县，管城（郑州治所）和新郑划给开封府。同时，荥阳县和荥泽县降为镇，并入管城县。原来与管城同为郑州辖县的原武县，降为镇，并入阳武县。夹在宋朝东京开封府与西京河南府（洛阳）之间的重镇郑州，消失了。
郑州作为地级单位被撤销后，北宋的两大京——东京和西京之间，没有了缓冲地带。这样一来，很多事情就变得不那么方便，也容易出问题。在郑州被撤销的十三年后，也就是元丰八年（1085年）十一月，宋神宗又自我否定，恢复了郑州的地级建置。
恢复后的郑州，不如撤销前的辖区大，新郑州只剩下管城和新郑。作为两京之间的缓冲地，新郑州还是太小了。两个月后，之前撤销郑州时被降级为镇的荥泽和荥阳，以及划归开封府阳武县的原武，全部恢复为县级。
前面提到了郑州是东京开封府的“辅郡”。事实上，北宋真的存在辅郡制，这是宋徽宗时蔡京等人捣鼓出来的，时间是崇宁四年（1105年）七月。设立四个辅郡，为了是保卫东京。
宋徽宗设立的四个辅郡，分别是：北辅澶州（澶渊，今河南省濮阳市），南辅颍昌府（原许州，今河南省许昌市），东辅是宋徽宗初年设置的拱州襄邑县（今河南省商丘市睢县）。西辅，就是郑州。作为辅郡，面积不能太小，北宋就把原属西京河南府的密县划给了郑州，也就是现在的河南省郑州市下辖的新密市。
不过，到了大观四年（1110年），三分钟热度过去的宋徽宗，就撤销了四辅郡。可能是觉得太无聊，四年后的政和四年（1114年），宋徽宗又恢复四辅郡。又过了六年，宣和二年（1120年），被诸事弄到焦头烂额的宋徽宗再次撤销辅郡。郑州既然不是辅郡了，面积就不需要那么大了，诏下：密县回到西京洛阳府。
没几年，北宋就灭亡了。
