隋(581年～618年)开皇初，废威州、文城郡、舞阴郡，改舒州为豫州，淮州为显州，由州直接辖县。至隋炀帝大业三年(607年)将州改为郡，实行郡辖县，仍是两级地方政区。隋时境内置汝南郡(治汝阳，今汝南县)和淮安郡(治比阳，今泌阳县泌水镇)。汝南郡领11县，境内居8县：汝阳县(今汝南县)、平舆县(今平舆县)、新蔡县(今新蔡县)、上蔡县(今上蔡县)、吴房县(今遂平县)、西平县(今西平县)、郎山县(今确山县)和真阳县(今正阳县)；淮安郡领6县，境内居3县：比阳县(今泌阳县泌水镇)、显冈县(今泌阳县西北)、慈丘县(今泌阳县付庄乡)。

    唐(618年～907年)实行道、州、县三级制。唐初改汝南郡为豫州，改淮安郡为显州。贞观九年(635年)改显州为唐州(治比阳，今泌阳)隶山南东道。宝应元年（762年)改豫州为蔡州(治汝阳，今汝南县)隶河南道。蔡州领11县，境内居8县：汝阳县(今汝南县)、平舆县(今平舆县)、新蔡县(今新蔡县)、上蔡县(今上蔡县)、吴房县(今遂平县)、西平县(今西平县)、郎山县(今确山县)、真阳县(今正阳县)；唐州领7县，境内居2县：比阳县(今泌阳县泌水镇)、慈丘县(今泌阳县付庄乡)。

    五代(907年～960年)后汉时蔡州改为防御州，所辖县境无变。