A cette occasion, la ville de Bayonne le reçoit royalement et lui soumet un projet qui lui tient particulièrement à cœur : la création d’allées partant des rives de l’Adour, longeant les fortifications du Grand-Bayonne pour aboutir à la porte d’Espagne. Cela devait permettre d’améliorer la circulation, d’embellir les abords de la ville fortifiée et de s’affranchir un peu des contraintes militaires.
Le Marquis de Paulmy donna son agrément et on commença immédiatement les travaux. « Des chais qui se trouvaient au bas de l’allée furent démolis et on acheta 315 ormeaux qui furent plantés en bordure des allées » (Archives de Bayonne). Trois ans plus tard, les allées étaient inaugurées. En remerciement, elles furent appelées « Allées de Paulmy ».
L’établissement de relations amicales entre la France et l’Espagne au cours du XIXème siècle puis le développement rapide de l’artillerie ont ensuite fortement limité l’intérêt stratégique des places fortes pyrénéennes. Bayonne sera ainsi déclassée en 1907. Les terrains militaires aux abords des remparts sont alors progressivement transformés en parcs et jardins. C’est ainsi que le terrain des Glacis et les Allées de Paulmy devinrent la promenade favorite des Bayonnais.
« La façade urbaine des Allées Paulmy est révélatrice de cette évolution. Les villas, délibérément ostentatoires, constituent à elles seules un laboratoire des styles architecturaux qui ont marqué la Côte Basque dans les années 1920-1930. Elles offrent au regard quelques-unes des plus belles réussites du mouvement néo-basque et Art déco » (Source : bayonne.fr).