Cependant, les forces du château s’organisaient encore, particulièrement les gentilshommes, « gens de toute espèce » qui gênaient les gardes nationaux par leur agitation, et que La Chesnaye dénonça à la reine. « Je vous réponds de tous les hommes qui sont ici, dit la souveraine. Ils marcheront devant, derrière, dans les rangs, comme vous voudrez. Ils sont prêts à tout ce qui pourra être nécessaire ; ce sont des hommes sûrs ». Ils se divisèrent en deux compagnies de cent hommes environ chacune ; la première, commandée par le baron de Viomesnil et le maréchal d’Hervilly, se porta dans la galerie de Diane ; la seconde, dirigée par le lieutenant de Puységur et le maréchal Pont-L’Abbé, prit possession de la salle de l’Œil-de-bœuf. Chaque compagnie fut divisée en plusieurs escouades de trente à quarante hommes chacune, dirigée par des officiers généraux. Des grenadiers furent également placés dans la galerie, sur trois de hauteur et dos au Carrousel, et la première compagnie de gentilshommes fut alignée parallèlement à eux, le passage ainsi formé par les deux lignes étant destiné aux aides de camp et aux officiers généraux.

A l’approche de l’instant décisif, le roi se détermina à se confesser en présence de l’abbé Hébert, tandis que les ministres débattaient des moyens de le sauver avant que le peuple ne donne l’assaut. Vers huit heures déboucha dans la salle du Conseil, où tous étaient réunis, un officier municipal annonçant que les insurgés exigeaient la déchéance du roi. La famille royale préféra se retirer dans la chambre du souverain. Mais Roederer pressentait le sort qu’on lui réservait une fois le château envahi par les forces adverses. Il se décida à la rejoindre pour la persuader de se rendre en lieu sûr sans tarder.

La chambre de Louis XVI était gardée par de nombreux gentilshommes. Roederer et ses collègues du département de Paris leur prièrent de s’écarter et pénétrèrent dans la pièce où se trouvait la famille royale entourée des ministres, de la princesse de Lamballe et de la duchesse de Tourzel. « Sire, déclara Roederer, le département désire parler à Sa Majesté, sans autres témoins que sa famille. » Le roi, embarrassé, insista pour que les ministres ne le quittent point. Le procureur-syndic y consentit. Puis il reprit d’un ton grave : « Sire, Votre Majesté n’a pas cinq minutes à perdre. Il n’y a de sûreté pour elle que dans l’Assemblé nationale. L’opinion du département est qu’il faut s’y rendre sans délai. Vous n’avez pas dans les cours un nombre d’hommes suffisant pour la défense du château ; leur volonté n’est pas non plus bien disposée. Les canonniers, à la seule recommandation de la défensive, ont déchargé leurs canons. » Tout était donc perdu. Quitter sa demeure devenait pour le roi son seul espoir de préserver son trône pour quelques heures et sa vie pour quelques mois. « Marchons », ordonna-t-il.

La porte de la chambre s’ouvrit alors, et Roederer, précédant la famille royale, s’adressa aux gentilshommes : « Le roi et sa famille vont à l’Assemblée, seuls, sans autre cortège que le département et les ministres, et une garde. Veuillez ouvrir le passage ». Entourée des membres du département, la famille royale parut alors. Le roi et Bigot de Sainte-Croix marchaient en tête : derrière venait la reine donnant le bras droit à Du Bouchage et tenant le dauphin de la main gauche ; la duchesse de Tourzel, Marie-Thérèse et Madame Elisabeth la suivaient ; enfin venait madame de Lamballe conduite par d’Abancourt. Champion et Le Roux de la Ville fermaient la marche. Le cortège descendit le grand escalier et gagna le jardin, escorté par environ trois cent suisses et gardes nationaux des Petits-Pères et des Filles-Saint-Thomas. La traversée du jardin au milieu des feuilles mortes jusqu’à la terrasse des Feuillants dura de longues minutes. Une députation de la salle du Manège vint à la rencontre de la famille royale : « Sire, dit l’un des représentants, l’Assemblée empressée de concourir à votre sûreté vous offre, et à votre famille, un asile en son sein ». Mais de nombreux patriotes avaient envahi les abords du Manège et bloquèrent le cortège sur l’escalier de la terrasse pendant plus d’un quart d’heure. « Non, crièrent deux sans-culottes, ils n’entreront pas à l’Assemblée nationale ; ils sont la cause de tous nos malheurs ; il faut que cela finisse ; à bas, à bas ! ». Roederer ne parvint qu’avec peine à obtenir le silence et à écarter la foule pour laisser passer le roi.

La défense continuait cependant à se disloquer. La nouvelle du départ de la famille royale entraîna de multiples défections chez la garde nationale. Langlade passa ouvertement à la Révolution en tournant ses canons vers l’entrée du château et en tentant de persuader les suisses de quitter leurs postes pour aller fraterniser avec les insurgés. Un groupe de suisses et de grenadiers se procura la clé de la porte donnant sur la pont Royal et parvint à s’enfuir. Plusieurs dizaines de gardes nationaux redoutaient d’être massacrés lorsque les patriotes auraient enfoncé la porte Royale ; ils abandonnèrent également leurs positions. Pendant ce temps était ordonné par le maréchal de Mailly le retrait immédiat dans le château de tous les soldats restés fidèles à la monarchie. Les trois cours furent aussitôt évacuées, les six canons qui s’y trouvaient étant restés sur place. Enfin, une compagnie de grenadiers suisses se rangea en bataille sur la terrasse nord du premier étage qui donnait sur le jardin, constituant à elle seule la défense de ce côté.

Des quatre mille deux cents hommes qui protégeaient le château aux premières heures du 10 août, il n’en restait plus que la moitié : huit cent suisses, deux cent gentilshommes, cent grenadiers et un millier de gendarmes totalement dispersés. Le reste avait fait défection ou accompagné la famille royale à l’Assemblée nationale.

L’heure était pourtant venue de livrer le combat. Les insurgés manifestaient leur impatience depuis un long moment en tentant d’enfoncer la porte Royale. Sachant le roi et sa famille au milieu des députés, les défenseurs du château pouvaient oublier leurs scrupules et se jeter enfin dans la bataille sans crainte que leur souverain ne soit victime de la fureur des patriotes. Il fut décidé d’ouvrir l’accès à la cour Royale. Un suisse s’approcha de la porte d’honneur, souleva la poutre qui en empêchait l’ouverture et s’enfuit à toutes jambes tandis que les deux battants s’écartaient sous la pression des assaillants. Les Marseillais furent les premiers à se ruer dans la cour. Leurs forces se déployèrent en deux équerres et le peuple s’empara des six canons que les suisses avaient abandonné, et les tourna contre le château. Il ne se précipita pourtant pas dans le pavillon central comme il l’avait fait deux mois plus tôt. Les patriotes avaient en effet décidé de rallier leurs adversaires à leur cause afin d’éviter toute effusion de sang. De nombreux Marseillais s’approchèrent pour s’adresser aux suisses : « Frères, venez avec nous ! ». Si, de leurs fenêtres, certains défenseurs firent alors signe aux insurgés de se retirer sur-le-champ, d’autres abandonnèrent aussitôt leurs postes et vinrent se joindre aux fédérés en brandissant leurs chapeaux au bout de leur fusils, au cri de « Vive la Nation ». D’autres encore jetèrent leurs cartouches du premier étage en signe de fraternité. Cela ne fit qu’encourager le capitaine Langlade à tenter une nouvelle fois de convaincre l’ensemble des suisses de se joindre aux patriotes. Il pénétra dans le vestibule du château et gravit le grand escalier jusqu’à la porte de la chapelle. Les deux rampes menant au premier étage du pavillon central étaient remplies de suisses et de grenadiers nationaux ; les portes étaient barrées et plusieurs pièces de canon installées sur le palier d’entresol, pointées contre le rez-de-chaussée. Langlade exhorta les soldats à le suivre dans la cour. Plusieurs grenadiers acceptèrent de se rendre ; ils descendirent l’escalier et rejoignirent les fédérés qui les désarmèrent avant de les embrasser. Mais les officiers de la garde suisse qui s’aperçurent de ces nouvelles défections ordonnèrent à leurs soldats de conserver leurs postes, et Langlade dut se résigner à redescendre, en entraînant avec lui deux soldats supplémentaires.