La primera mención expresa de Villardompardo se remonta a 1245 y alude a su conquista y repoblación por parte de Fernando III El Santo. El rey donó lo que entonces era una pequeña alquería a uno de los nobles que lo acompañaban: Pedro Aznar Pardo, de quien recibió su nombre El Villar de Don Pardo. Es muy probable que en esta fecha se construyera el castillo, todavía de dimensiones más reducidas que el que contemplamos actualmente.

Sin embargo, el hallazgo de elementos arqueológicos anteriores a la Edad Media en el casco urbano de Villardompardo, como: hachas neolíticas, pilas romanas o pavimentos de ladrillo, nos indica una ocupación más antigua de la localidad. También se han encontrado vestigios de poblamiento en los alrededores del pueblo, como en las Piedras de la Rata, Cerro Pelado o Ruimesa, que señalan la presencia ibera y romana y la posible existencia de villas rústicas dedicadas a la agricultura.

Después de la conquista cristiana, la zona -próxima al reino de Granada- sufrió continuos ataques musulmanes durante los siglos XIII y XIV, motivo por el cual el lugar se encontraba despoblado en 1368. El 27 de Septiembre de 1371 en las Cortes de Toro, siendo rey de Castilla Enrique II, el Villar de Don Pardo fue entregado como señorío a Pedro Ruiz de Torres, Adelantado de Cazorla y Alcaide de los alcázares de Úbeda y Jaén, quien se comprometió a repoblarlo. De esta forma Pedro Ruiz de Torres, que ya era dueño de propiedades y privilegios en la ciudad de Jaén y poseía asimismo una parte de Escañuela, pasó a ser el primer Señor de Villardompardo. Su biznieta, Teresa de Torres, V Señora de Villardompardo, contrajo matrimonio con el Condestable D. Miguel Lucas de Iranzo a mediados del siglo XV. Residían en Jaén y tenían gran influencia en la ciudad.

Durante la Segunda Guerra Civil castellana, concretamente en 1469, el Condestable utilizó el castillo de Villardompardo en sus operaciones militares contra los caballeros de la Orden de Calatrava, sublevados contra el rey Enrique IV.

A mediados del siglo XV, probablemente en 1457, se incorpora Villargordo al Señorío de Villardompardo y en 1487, D. Luis Lucas de Torres, hijo de Dª Teresa y del Condestable Iranzo, compró por 150.000 maravedís, al cabildo catedralicio, la parte que faltaba de Escañuela, incorporándola también al Señorío.

Ninguno de los dos hijos de Dª Teresa pudo heredar el Señorío de Villardompardo por morir antes que su madre, así que éste pasó a su primo, D. Fernando de Portugal y Torres, que estaba emparentado con la familia real portuguesa por línea paterna. Nieto del mismo fue D. Fernando de Torres y Portugal, quien en 1558 fue nombrado por Felipe II Primer Conde de Villardompardo y más tarde, desde 1585 hasta 1589, ocupó el importantísimo cargo de Virrey del Perú donde fundó la ciudad de Villardompardo, hoy llamada Riobamba. A su regreso comenzó a construirse el conocido actualmente como Palacio de Villardompardo, en Jaén, y acometió la transformación del castillo de nuestra localidad en residencia palaciega, dotándolo de su hermosa portada renacentista.

Durante las siguientes generaciones, los condes fueron abandonando el pueblo para acercarse a la corte madrileña y dejaron sus posesiones en manos de administradores y arrendatarios y el castillo abandonado a su suerte. El título de Condes de Villardompardo pasó, por entronques familiares, a los Marqueses de Bélgida en el siglo XVIII.

El régimen señorial y el mayorazgo apenas permitían la compra-venta de tierras en el término de Villardompardo, motivo por el cual la población durante siglos apenas rebasó los 500 habitantes e incluso en algunos periodos estuvo muy por debajo de esa cifra, dependiendo de hambrunas, guerras, epidemias o emigraciones a pueblos con más flexibilidad económica. Tendremos que esperar a la Constitución de 1812, donde se suprimen los señoríos, y a las dos grandes desamortizaciones del siglo XIX (Mendizábal y Madoz), para que las tierras del Conde, de la iglesia y las comunales del ayuntamiento se pongan en venta, dinamizando de este modo la economía del lugar, con el consiguiente aumento, a veces muy rápido, de la población. Por ejemplo: 645 habitantes en 1842, 1454 habitantes en 1900, y el máximo alcanzado, de 3084 en 1950.

La industrialización de Cataluña. Pais Vasco, Madrid y algunos países europeos, durante las décadas de los 60 y 70, hizo que en unos años muchos habitantes de Villardompardo emigraran buscando mejoras económicas y laborales, de modo que la población comenzó a disminuir de una forma tan rápida a como había aumentado un siglo antes.

En los inicios del siglo XXI Villardompardo cuenta con una población de unos 1200 habitantes y su economía se basa principalmente en el monocultivo del olivar, además de pequeños negocios familiares como talleres de carpintería de madera, carpintería metálica y pequeñas empresas de la construcción.