L'ermitage Saint-Joseph de Pontoise a été créé en 1605. C'est le second carmel créé en France. La plus grande partie des bâtiments a été construite entre 1607 et 1610. Ils sont intacts depuis l'origine. Le Carmel de Pontoise a eu un important rayonnement en France au XVIIe siècle grâce à la présence de Jeanne de Jésus, la sœur du chancelier Séguier. Il a aussi bénéficié de la protection de Marie de Médicis et d'Anne d'Autriche. Avec son fils, le futur Louis XIV, cette dernière lui a rendu plusieurs visites.
Sous la Révolution, les biens du monastère sont sécularisés et vendus. Les carmélites sont expulsées en septembre 1792. Les bâtiments deviennent prison, armurerie, grenier à blé, etc. En 1818, la ville de Pontoise les rachète. Ils sont revendus aux carmélites de Versailles en 1820. La vie conventuelle renaît en 1821.
En 1901 et 1936, les carmélites sont à nouveau menacées d'expulsion.