Voor het ontwerp van het Vredespaleis schreef de jury een internationale prijsvraag uit. De belangstelling voor de ontwerpwedstrijd was groot: er moest een keuze gemaakt worden uit maar liefst 216 inzendingen vanuit de hele wereld. Door de jury werden uit de zeer uiteenlopende schetsen zes prijswinnaars geselecteerd en de Franse architect Louis Cordonnier zag zijn inzending bekroond met een eerste prijs. De keuze voor Cordonniers ontwerp, dat teruggreep op de architectuur uit vroegere eeuwen, leidde tot een fel architectuurdebat. Velen hadden gehoopt op een gebouw dat ook met zijn verschijning een nieuwe tijd zou inluiden.

Het oorspronkelijke ontwerp van Louis Cordonnier was tamelijk overdadig en de 1,5 miljoen dollar die Carnegie ter beschikking stelde, was ontoereikend om het te realiseren. De Franse architect kreeg de opdracht zijn ontwerp te vereenvoudigen en bracht het aantal torens terug van vier tot twee. Een definitieve tekening kwam tot stand in samenwerking met de Haarlemse architect Johan van der Steur, die tot uitvoerend architect bij de bouw was benoemd. Op het terrein van het oude landgoed Zorgvliet verrees in zes jaar tijd een imposant gebouw in de stijl van de neorenaissance. De grote en de kleine toren markeren de twee belangrijkste vertrekken in het paleis, namelijk de rechtszalen.