隋初置牂柯縣,唐改建安縣,后置恭水縣、羅蒙縣。宣和三年(1121年)廢遵義軍,置遵義縣。縣名治用軍名。遵義,意為遵王之義。
1998年,將遵義縣新卜鎮、深溪鎮、金鼎鎮劃入遵義市紅花崗區。
2000年,遵義縣轄33個鎮、2個鄉。根據第五次人口普查數據:總人口1243193人,其中各鄉鎮人口(人): 南白鎮 94248 龍坑鎮 40562 三岔鎮 33452 茍江鎮 21674 三合鎮 61066 烏江鎮 17117 團澤鎮 50386 蝦子鎮 59924 三渡鎮 18501 新舟鎮 66268 永樂鎮 40129 龍坪鎮 40882 喇叭鎮 24458 團溪鎮 50720 鐵廠鎮 15500 西坪鎮 34782 尚嵇鎮 35766 茅栗鎮 26547 新民鎮 18787 鴨溪鎮 56209 石板鎮 34097 樂山鎮 22013 楓香鎮 34274 泮水鎮 35360 馬蹄鎮 31914 高坪鎮 58232 沙灣鎮 24765 板橋鎮 22870 泗渡鎮 31822 松林鎮 23150 毛石鎮 19529 山盆鎮 53413 芝麻鎮 16577 平正鄉 18506 洪關鄉 9693。
2003年,全縣行政區域總面積4703平方千米,轄33個鎮、2個民族鄉,309個村委會、17個居委會。年末總人口138.21萬人,其中少數民族1.5萬人,非農業人口13.08萬人。 2003年12月26日,國務院批準,將高坪、板橋、泗渡、團澤4個鎮劃歸匯川區管轄。
2004年,高坪鎮、團澤鎮、泗渡鎮、板橋鎮劃入匯川區,遵義縣為29個鎮2個民族鄉。同年,遵義縣撤銷了全縣各鎮鄉派出機構辦事處,將600余個村居合并為287個村(居、社區)。
遵義縣轄29個鎮2個民族鄉,287個村(居、社區),6552個村(居)民組。全縣居住28.81萬戶113.45萬人,其中農業人口102.13萬人,非農業人口11.32萬人;城鎮人口25.53萬人;少數民族人口14081人。人口密度為277人/平方公里。近年來,隨著科學技術的進步,經濟的發展以城鎮化建設的不斷推進,遵義縣大量農村剩余勞動力不斷涌入城鎮,加快了城鎮的發展。