Dans les chapelles latérales, on peut admirer des plâtres (qualifiés de «grandiloquents» par l'historien René Tournier) reproduisant des scènes de la Passion. Ils sont l'œuvre du sculpteur bisontin Georges-Philippe Clésinger et ont été réalisés entre 1825 et 1831. Cette page en reproduit trois.

La chaire à prêcher, de style Louis XVI, a été sculptée par Antoine Munier. Sa cuve, de forme ovoïde, est décorée de cinq médaillons. On y voit saint Paul, la Foi, un pape et deux évêques.

La Madeleine pendant la Révolution.
L'église Sainte-Madeleine, durant la Révolution, subit le sort de bien des églises de France. Le chanoine Monnot nous en livre quelques détails. Tout ce qui avait un peu de valeur fut emporté ou démoli. Ce qui était construit en bois fut vendu comme bois de chauffage à un boulanger de Charmont : les stalles du chœur, la chaire, les confessionnaux, les petits autels et même le buffet de l'orgue. En novembre 1792, les offices canoniaux furent supprimés et le chapitre collégial fut interdit. Un prêtre assermenté fut nommé curé par les Révolutionnaires. Au début de 1794, la Terreur fait fermer toutes les églises. Sainte-Madeleine devient un lieu de réunion pour les clubs de la ville. C'est là que le futur académicien Charles Nodier (1780-1844), âgé de quatorze ans, prononce un discours du haut de la chaire. Mais Robespierre est tombé depuis quarante-huit heures, la fureur révolutionnaire va s'apaiser et les clubs vont être fermés. L'église va alors servir de magasin à fourrage. En février 1795, elle est rendue au culte constitutionnel. Un prêtre assermenté est nommé curé, qui est remplacé en 1802 par le futur évêque constitutionnel du Doubs, l'abbé Demandre. Celui-ci mit à profit le crédit dont il bénéficiait auprès des pouvoirs publics pour récupérer tout ce qu'on pouvait retrouver du mobilier disparu.
Source : «Le vieux Besançon religieux» du chanoine Antoine Monnot, Imprimerie de l'Est, 1956.

Le chapitre de la première Sainte-Madeleine.
C'est l'archevêque Hugues le Grand qui fit ériger la collégiale Sainte-Madeleine au XIe siècle. Pour sa gestion, celle-ci disposa d'un chapitre de vingt-quatre chanoines, qui purent endosser un costume spécial par autorisation du pape Eugène IV (première moitié du XVe siècle). Le doyen du chapitre de la Madeleine était aussi le trésorier de la cathédrale Saint-Jean. L'un de ces chanoines a laissé une marque dans l'Histoire : Jean Beaupère. En 1431, il était chanoine de la cathédrale Saint-Jean. En 1443, il fut nommé trésorier du chapitre de cette même cathédrale et donc, automatiquement, devint doyen de la Madeleine. Jean Beaupère fut le premier assesseur de l'évêque Cauchon pendant le procès de Jeanne d'Arc. Dans son ouvrage, le chanoine Monnot nous apprend qu'il présida plusieurs fois les débats et posa des questions à Jeanne, dont celle-ci : «Croyez-vous être en état de grâce?» Après le procès, Jean Beaupère revint à Besançon et reprit ses fonctions.
Source : «Le vieux Besançon religieux» du chanoine Antoine Monnot, Imprimerie de l'Est, 1956.

Les écoles à la Madeleine. Dès la création de la collégiale, Hugues le Grand voulut établir des écoles dans le quartier populeux du Battant. Le recteur, qui en avait la direction, était nommé par le chapitre. Les enfants y étudiaient les Saintes Écritures et les sciences profanes (astronomie, arithmétique, géométrie, musique et poésie). Ils se partageaient en internes et externes, les internes étant hébergés dans une des maisons canoniales voisines de l'église. L'externat accueillait gratuitement tous les jeunes garçons de la ville. Parmi les externes, les plus jeunes servaient au service divin comme chanteurs. À l'office, ils prenaient place dans le chœur, revêtus d'un costume qui rappelait celui des chanoines. Les écoles de la cathédrale Saint-Jean et de l'église Saint-Étienne appliquaient le même prirncipe. Vers le milieu du XVe siècle, on rajouta les arts libéraux à l'enseignement. C'est vers cette époque aussi que les trois écoles furent réunies en un seul établissement qui reçut le nom d'École générale. La fusion fut demandée par le gouverneur de la ville et autorisée par le pape Nicolas V vers 1463.
Source : «Le vieux Besançon religieux» du chanoine Antoine Monnot, Imprimerie de l'Est, 1956.

La présence de sainte Madeleine seule, en position agenouillée devant la Croix (qui demeure invisible), dans une vue partielle de la Crucifixion, est surprenante dans une abside. Dans ce lieu particulier qui domine le maître-autel, on a plutôt l'habitude de voir une Vierge en gloire ou une Vierge à l'Enfant souriant vers un saint ou une sainte en adoration, ou toute autre scène mêlant deux personnages comme à l'église Saint-Pierre, au centre de Besançon.
Ce décor en stuc, à l'exception certainement de sainte Madeleine, est très probablement du XIXe siècle. Aucune documentation n'a pu être trouvée sur cet ornement qui reste néanmoins très beau.