Durante la carrera trabajó en un despacho de arquitectos. Cuando terminó sus estudios creó su despacho de arquitectos junto con dos socios y participó en varios concursos para la realización de proyectos. Hasta 1994, año en que fundó su estudio de arquitectura propio, estuvo asociado en otras dos ocasiones, cada una de la cual duró cinco años.

Desde que inició su labor como arquitecto, Nouvel ha trabajado intensamente para crear su propio lenguaje arquitectónico, lejos de los estilos del modernismo y post-modernismo. Rechaza las directrices establecidas por Le Corbusier, que han influido a tantos arquitectos, y se plantea cada nuevo proyecto sin ninguna idea preconcebida. De esta manera, sus edificios difieren notablemente el uno del otro, si bien existe un común denominador entre todos ellos, que es la transparencia, así como la luz y las sombras. También le da gran importancia a que sus edificios se integren de forma armoniosa en el entorno.

Nouvel ha ganado numerosos premios de arquitectura y diseño, y ha recibido varias distinciones por su trabajo.

Una de sus obras arquitectónicas más conocidas es el Instituto del Mundo Árabe, en París. El edificio alberga una importante colección de objetos y escritos del mundo árabe. Las fachadas diseñadas por Nouvel constan de elementos cuadrados, construidos en metal y vidrio. En el centro de cada cuadrado se encuentra un diafragma que se abre y cierra automáticamente según la intensidad de la luz natural del exterior. Con ello Nouvel consigue mantener la iluminación interior en un nivel prácticamente constante. Al mismo tiempo se proyectan hacia el interior las formas de estos diafragmas, que recuerdan ornamentos árabes, y que confieren a los espacios interiores un ambiente de gran originalidad. Hotel Puerta América (Madrid).

En el año 2008 obtuvo el Premio Pritzker, considerado como el Nobel de la arquitectura.