Idris I fundó Fez en el año 789, en la orilla derecha del ued (río) Fez y la convirtió en la primera ciudad islámica de Marruecos.
Su hijo Idris II acogió aquí a los árabes llegados del Marruecos central y de España. Unas 1400 familias llegadas de Córdoba formaron el barrio de los andalusíes (El-Adua) en el 818, y 300 familias expulsadas de Kairuan (en el actual Túnez) se instalaron 7 años después en el barrio de los kairuaníes.
En el 859 se funda la Universidad de Qarauiyn, considerada la universidad más antigua aún existente. Es anterior por ejemplo a la Sorbona de París (1150) y a la de Salamanca (1218). También en esta época se construye la mezquita de los andalusíes.
Entre el 917 y el 985 la ciudad cambia de manos desde los Idrisíes hasta los fatimíes y finalmente a los omeyas, pero a principios del siglo XI, la caída del califato omeya libera a Fez.
El almorávide Yusef Ben Tashfin conquista la ciudad en 1609, destruye sus murallas, unifica la ciudad hasta entonces dividida por el río y construye una fortaleza.
Pero a mediados del siglo XII, los almohades con Abd el-Mumen a la cabeza se apoderan de Fez. La ciudad comercia con España, el Magreb central, el Sahara, Oriente e incluso algunos países cristianos; se introducen nuevas técnicas artesanas y Fez prospera.
Los siguientes en conquistar la ciudad en la primera mitad del siglo XIII son los meriníes que construyen la ciudad administrativa de Fez el-Yedid (Fez la nueva) con palacios, mezquitas y fortalezas.
En la segunda mitad del siglo XV la dinastía Beni Watas y la llegada de los musulmanes y judíos expulsados de España por los Reyes Católicos marcan el fin de la dinastía meriní. Los saadíes ocupan Fez en 1549 pero nombran a Marrakech como su capital.
La ciudad queda despoblada a principios del siglo XVII debido a epidemias de peste, hambre, pobreza y guerras civiles, pero en 1666 Mulay Rashid vuelve a convertir a Fez en su capital, establece el orden y relanza el comercio.
Ya en el siglo XIX Fez es una ciudad con gran influencia religiosa, intelectual y comercial.
En 1912 se firma en Fez el tratado que establece el protectorado francés en Marruecos y el general Lyautey desarrolla la ciudad moderna y protege la antigua medina.