En el cerro sobre el que se asienta Vejer (a 190 m. sobre el nivel del mar), y su entorno existen testimonios de presencia humana muy antigua. Bajo las murallas han aparecido materiales de la Edad del Bronce y recientes estudios arqueológicos han revelado la existencia de un poblado de tipo orientalizante datado en el S. VII a.C. En el mismo lugar se han encontrado algunos materiales y restos de muros de época turdetana, así como algunas cerámicas de época romana. En su Término se ha localizado también una villa romana con ricos pavimentos de mosaicos, y en la Ermita de la Oliva se conserva una inscripción romana reutilizada en época visigoda. De la presencia romana se podría destacar la "Villa de Libreros" y el "Horno del Chorrillo".
En el 711 tuvo lugar la Batalla de la Janda, en la cual las tropas norteafricanas de Tarik derrotaron a D. Rodrigo. A partir de ahí y durante cinco siglos y medio, Vejer permaneció bajo dominio musulmán, siendo objeto de enriquecimiento de la esplendorosa cultura árabe - islámica de la que nos queda algunos vestigios como la puerta del castillo (S.XI), parte de las murallas y, como no, el entramado de sus calles.
La conquista de Vejer fue un proceso en dos fases. La primera conquista de Vejer tuvo lugar en el año 1250, en tiempos del rey Fernando III "El Santo", pasando de nuevo a manos árabes en Junio de 1264, tras una revuelta en la que tomaron por fuerza el castillo. La segunda y definitiva comenzó en Agosto de 1264, expulsó a la población mudéjar de la zona, para culminar a finales de 1285. En el mismo año Sancho IV concede a la Orden Militar de Santiago el señorío sobre Vejer y otras plazas de alrededor, con el fin de consolidar el territorio de manera más rápida, aunque sabemos que dicha orden nunca tomó posesión de Vejer.
En 1307, tras una segunda repoblación pasó a ser señorío de Alonso Pérez de Guzmán "El Bueno", que ya estaba en posesión de desde 1299 del señorío de las almadrabas de toda la zona del Estrecho y que tras la toma de Tarifa se había convertido también en el defensor del Estrecho, llegando a ser dueño y señor, después del rey, de estas tierras. De él heredarían la titulación de la villa los Duques de Medina Sidonia.
Durante los siglos XV y XVI, la vida de Vejer transcurrió bajo dominio de los Guzmanes, destacándose ya en la edad Moderna el enfrentamiento de los vejeriegos, con Juan Relinque a la cabeza, contra los Duques de Medina Sidonia por el control de las tierras comunales, denominadas Hazas de Suerte.
Las transformaciones políticas del S. XIX y las desamortizaciones repercutieron en las titulaciones de las propiedades, que en parte pasan del dominio ducal a manos burguesas sin conseguirse el desarrollo industrial necesario en la ciudad que ha seguido centrando su actividad económica en la producción agraria y ganadera.
Vejer de la Frontera cuenta con un impresionante Patrimonio Cultural que le convierte en uno de los pueblos más bellos de España. Fue declarado Conjunto Histórico Artístico en 1976, además de ser galardonado en 1.978 con el I Premio Nacional de Embellecimiento de Pueblos