即便如此，当时还是有很多人主张纪念堂应选择山明水秀之地，不宜建在喧嚣的台北市营边段，毕竟市中心不够庄严肃穆。例如黄杰就认为，市中心黄金路段盖纪念堂太可惜，应设立在阳明山等处，相关意见还通过蒋介石的医生熊丸转达给宋美龄。
也有人主张，蒋介石生前喜游名山大川，每当决定大计时，均会择秀山明湖处静思。因此纪念堂宜依山面水，除了慈湖外，形势巍然的圆山山麓以东，或忠烈祠附近地区，都比较合适。
当时蒋家台面上还是由宋美龄当家，熊丸回忆，他将黄杰等人意见转达宋美龄后，宋美龄去问蒋经国意见，蒋经国除了向宋美龄强调“决定了就不该更改”，还说，营边段虽然是市中心路段，但比照各国纪念堂多建在市中心，况此举亦可增加市民空地，市民会多一处休闲场所。选址之事就此拍板定案。熊丸事后承认，找宋美龄进言一事略嫌鲁莽，此举也绝对会让蒋经国心里不痛快。
只是营边段原先开发计划一变，不但台北市政府要另找他地栖身，世界贸易大楼及展馆计划跟着延宕，因此原先打算临时兴建展览交易馆也只好暂时保留，之后为在当地兴建两厅院等设施，几经波折地搬迁到松山机场航站大厦的外贸会场，最后拖了5年多才纳入信义计划副都市中心规划，坐落在如今基隆路与信义路交叉口处。
至于中正纪念堂应该有的外形、功能，同样也是风波不断。由于为蒋介石建纪念堂一事兹事体大，有象征意义，当时许多建筑师都建议，应比照美国林肯纪念堂方式，仿照古希腊神庙设计，以高大宏伟建筑与铜像营造肃穆庄严感，专供中外人士瞻仰凭吊之用；财力所及再在纪念堂周围兴建音乐厅、戏剧厅、博物馆，甚至体育馆。
但纪念堂设计到底该采抽象式、西洋式，还是宫殿式，各界实在看法不一，尤其当年蒋介石在台北兴建孙中山纪念馆，即是采美国“林肯中心”的综合性多用途功能建筑物规划，强调厅内设施兼具娱乐功能，最后呈现结果却有些顾此失彼，专业设计方面并不理想，更有不少声音质疑，为何要模仿美式建筑而非采中式宫殿建筑样式，也平添许多变量。
当时筹备小组公开对外甄选设计图，共投稿43件，5件入围，国际竞图时虽曾要求作品须具现代风格，但结果却是参选作品中唯一不具现代风格的作品得标，采用杨卓成建筑师所属和睦建筑师事务所设计。
杨卓成是湖北人，1940年自中山大学建筑工程系毕业后，在美国著名的J．G．怀特公司担任建筑师8年，他晚年旅居洛杉矶，2007年年底去世，享年92岁。
杨卓成绝非泛泛之辈，作品通常都是以钢筋混凝土材料表现中国北方宫殿建筑特色，并以中国现代建筑自许。台湾多座地标性建筑都是出自他的手笔，包括圆山大饭店、慈湖行馆、清真寺及士林官邸设计，都是由他经手，足见蒋介石与宋美龄对他的信赖。
至于中选的纪念堂设计款式，屋瓦采双层，角形蓝色琉璃瓦面，屋顶置有高达12米的金黄色宝顶，与象征“青天”的蓝色琉璃瓦相辉映。纪念堂大门则采用包铜的双扇铁门，高16．5米，宽12米，重达75吨，要靠电力操纵。
杨卓成也说，蒋介石早在1966年就曾对孙中山纪念馆建筑作原则指示，“应在外形方面加强中国建筑特色”。因此他设计中正纪念堂，首先确定方向就是要“发扬民族文化，以现代科技建造代表中国传统的建筑”。
俞国华随后宣布设计方案已然定案，其中纪念堂将占地8000平方米，建蒋介石像，并陈列他一生勋业的有关文物；“国剧院”占地1900平方米，可容纳1200个座位，作为国剧、话剧及小规模音乐演奏之用；音乐厅占地1700平方米，规划有250个座位，作交响音乐演奏及大规模表演与集会之用。至于中正公园部分占地15万平方米，将建造水池、瞻仰大道及遍植松、柏等花木。
当时国民党初步估计全部工程约需经费新台币10亿元，至于各界捐献在动工前已达新台币14800多万元，另包括远东百货公司及嘉新水泥公司捐出8万吨水泥，相当于工程所需水泥用量一半。瞻仰大道两侧9米铺道花岗石板由金门特产花岗石切片而成，是金门开挖战地所得。余如玻璃、花木等也多由各界人士捐出，工程由荣民工程处负责。
1976年10月31日上午11点，中正纪念堂破土兴工，由当时的台湾地区代领导人严家淦与国民党大佬张群主持，当天也是蒋介石九秩诞辰纪念日。张群也宣布将分两期办理计划，第一期先设计建筑中正纪念堂及中正公园，第二期再完成音乐厅及“国剧院”。
在动工同时，安放在本堂的蒋介石铜像，也由曾打造孙中山纪念堂铜像的名雕塑家陈一帆赶工设计。虽然杨卓成原打算纪念堂内部应摆设大理石雕像，以突显仁慈博爱的表情，避免出现铜像太暗淡，缺乏温和气质等问题。不过最后雀屏中选的仍是一尊蒋介石身着长袍、神态慈祥的坐像。坐像高度为6．3米，基座高度为3．5米，合计9．8米，约有三层楼高。铜像重量将近25吨，约正常人100倍大。
出身空军机校的陈一帆没受过正统艺术教育。1949年随军队从福建长乐来台，随艺术家刘狮、张永昌等人习艺，颇受肯定，并曾以《祖孙同乐》作品获得中山文艺奖，包括于右任铜像、台北故宫博物院、中兴新村内铜像，都是他的杰作。陈一帆设计的铜像是采用蒋介石70岁后的造型，身着长袍，坐在太师椅上，双手扶着椅子的把手，长袍垂下，露出皮鞋，强调他英明睿智、平易近人。此铜像是从近百件应征作品中脱颖而出的。
◆“自由广场”牌匾
这座中正纪念堂牌楼，面对中山南路及“国家图书馆”，高30 尺，是台北市区内最大的牌楼。2007 年12 月8 日之后，“自由广场”四字替代了“大中至正”，一直延续至今。马英九当选台湾地区领导人之后，专门就不更名问题作出解释，认为曾经“教育部”就广场的名称问题召开了三次公民论坛，经过讨论，决议使用“自由广场”之名称，他个人亦认为“自由”并非对先“总统”之不敬，因此不再做更改。
蒋经国在塑像过程中多次前往探视，并要求陈一帆修妥面部表情。为求神似，陈一帆决定铜像各部位以视觉透视原理放大，而非根据比例大小放大。由于铜像体积实在太大，总计光是铜像泥塑部分，就用了30吨油泥，并在木栅“革命实践研究院”广场着手雕塑；完成灌石膏外模后，并剖成200多块制塑钢内模，另以25吨青铜完成铸铜、焊接工作。铜像背后大理石墙刻着“伦理、民主、科学”六字，与“生活的目的在于增进全体人类之生活”“生命的意义在于创造宇宙继起之生命”等名言。
在公园方面，也请来曾设计南京孝陵卫前庭园，以及武陵农场行馆、梨山行馆、大溪行馆等蒋介石生前各地行馆的设计人、老师傅胡国礼主持，耗资约五六千万元，取材皆为上上之品，花木总数约50余万株，500余种，假山石材总重1600余吨。庭院内云汉池及光华池饲养许多锦鲤，取名则寓意“汉影云根”及“光复中华”。
纪念公园共分三大区，即中央瞻仰大道区、两旁自然景观区及纪念堂后面的“虎背”区，共25景，其中公园正门即竖立高约30米的宽广石制牌楼、“大中至正”门，采“五间六柱十一楼”规格，即总计五间、六柱有11个屋顶，是仿明十三陵神路的牌楼设计。纪念公园东西两侧也有尺寸较小的大忠门、大孝门牌楼。
至于牌楼上的“大中至正”四字为欧阳询体，系由蒋介石的文胆秦孝仪指定，出处是王阳明的《传习录》：“粹然大中至正之归矣”，委由书法家杨家麟书写，当时招募书法家时即规定需以欧体书写、不得落款，且需配合时辰当场挥毫，因此原字系由棍棒、铁丝缚以麻绳沾红土水写成。至于大忠门、大孝门牌匾也是由杨家麟代笔。
中正公园另一特色就是原拟动手拆除的回廊式围墙，不但房顶以高级琉璃瓦装饰，而且全长1200米的围墙墙面上，更有18种、246个中国式窗格的美丽造型。回廊内侧还可供游人避雨，观看花草扶疏的美景，是相当贴心的设施。
由于建筑庞大，当时的建筑技术又不甚发达，因此纪念堂在实际操作上困难重重。先是为坚固、接缝无隙，本堂混凝土施工要严格控管。至于八角形屋面防水工程，原采取传统防水方式，涂一层沥青、铺一层油毛毡，共涂7次沥青。但因屋顶过高，烧熔沥青输送到屋顶后可能已干掉，加上工作空间狭窄、屋顶斜度太大，沥青不易挂上，最后改采防水膜替代。