南北朝(420年～581年)建置演变频繁。

    南朝宋于境内置隶属于豫州的汝南郡、新蔡郡、初安郡和绥城郡，隶属于雍州的南阳郡和广平郡。汝南郡(治悬瓠，今汝南县)领11县，境内8县：武津县（今上蔡县）、上蔡县(今汝南县)、真阳县(今正阳县)、安成县(今汝南县东南)、朗陵县(今确山县西南)、阳安县(今驻马店市驿城区附近)、西平县(今西平县吕店附近)、灈阳县(今遂平县东)；新蔡郡(郡治鲖阳)领4县，境内l县：新蔡县（今新蔡县）；初安郡，境内l县：新怀县（今确山县西北）；绥城郡，境内l县：安昌县(今确山县南)；南阳郡辖7县，境内l县：舞阴县(今泌阳县西北)；广平郡，境内l县：比阳县(今泌阳县泌水镇)。

    北魏时，绥城郡并入初安郡，增置襄城郡(治今西平县师灵)、东荆州、城阳郡(治今泌阳县高店乡)、江夏郡(治今泌阳县付庄乡)、西汝南郡、北义阳郡(治今泌阳县西北)等。其中属豫州(治悬瓠，今汝南县)的有汝南郡(治悬瓠，今汝南县)、新蔡郡、襄城郡、初安郡、东荆州、城阳郡和江夏郡。汝南郡领7县，境内居6县：上蔡县(今汝南县)、临汝县（今上蔡县）、平舆县(今平舆县)、安成县(今汝南县东南)、阳安县(今驻马店市驿城区附近)、真阳县(今正阳县)；襄城郡境内居4县：西平县(今西平县吕店附近)、武阳县（今西平县西南）、义绥县（今遂平县北）、遂宁县（今遂平县）；初安郡境内居2县：新怀县（今确山县西北）、安昌县(今确山县南)；东荆州郡境内居1县：阳平县(今泌阳县泌水镇)；城阳郡境内居1县：城阳县(今泌阳县高店乡)；江夏郡境内居1县：江夏县(今泌阳县付庄乡)。    永熙三年(534年)，北魏分为东、西魏后，东魏置引台(中央代表机关)治悬瓠(今汝南县)，改东荆州为鸿州，北周时改为淮州；将鸿州并入淮州。北齐时，废初安郡，侨置荆州，襄城郡改置文城郡，北周改荆州为威州，将设在悬瓠城的总管所改为舒州。