清康熙年间繁昌县知县梁延年说：“繁昌弹丸邑耳，语形势，则据郡省之上游，长江绾焉，波流浩渺，至鹊屿始水转山回，形势为之一束。”沿江而踞是繁昌的地理优势，故自西汉建置以来，无论是叫春谷、南陵也罢，还是叫繁昌也罢，县治即县衙所在地都是大江之滨。春谷县治所在春谷乡即今荻港，南陵郡、县的治所在赭圻，繁昌县治所在延载乡即今新港。

　　县城临江而建本是占着黄金水道，可得地理之便，否则，由西汉而来的县府怎么都选择了江傍小镇，可到了明代，利竟变成了弊。这条黄金水道舟来楫往，十分繁忙，久而久之“廪饩夫役，供应不貲”。朝廷、官府来往的人员，都必经过此地，繁昌本是小县，实不堪负担。不仅如此，“权璫贵势，横扰罔极，民苦于奔命，消缩日甚”。宦官和贵族更是借机盘剥骚扰，百姓苦不堪言，只得纷纷远离家乡。

　　明朝初年，繁昌“编户三十六里，驯至景泰间仅余十里”。所谓编户指的是编入户籍的居民。《周礼·地官》：“五家为邻，五邻为里。”二十五家为一里。按此换算，明初繁昌县城有九百多家居民，而到了明代宗景泰年间(1450—1456)，不到一百年，编户锐减二十多里，原本繁华富庶、熙熙攘攘的县城，一下子竟只有二百五十家，其箫瑟景象可以想见。

　　隋朝以来就开始设立驿站，以供往来官员衣食住行。芜湖至荻港设有四个驿站，其中繁昌就设了瀂港、繁昌、荻港三个驿站，“介乎其间”的繁昌驿站，已属多余。尽管上有荻港下有瀂港驿站接待，可来往的官员还要留宿繁昌，来的都是客且又是得罪不起的主，繁昌县官免不了要尽地主之谊。如此“供馈至再”，可谓“费亦赘矣”。

　　北宋年间县令夏希道沿江所建的城池，早已为元代的兵燹灾异所毁，而江盗则乘机经常于夜深人静之时，偷袭居民，老百姓防不胜防，“数蹂于盗”。县中的绅士们都以为与其让江盗“长驱之便”，不如将县城迁至远离长江的地方。

　　明代宗景泰七年(1456)，知县李庆首倡将县城内迁，以“休民”、“省费”、“远害”。这一倡议很快得到繁昌人，在朝廷任都察院右佥都御史吴琛的赞同。这个都察院如果用最明白的话来说，也许就相当于今天监察部。吴琛这个副部级高官，虽远离家乡却不忘桑梓，李庆的倡议首先得到他的赞同。

　　明英宗天顺元年(1457)，知县王珣“职其事”，开始执掌迁城的事，而“备其制”(以上引文见清道光六年《繁昌县志·卷之十六》)者，也就是实际开始迁城的工作，先后有知县林域、徐礼和赵文奎。县城迁出延载乡改名旧县。林域乃明宪宗成化九年(1473)知县，徐礼乃成化十八年(1482)知县，赵文奎乃明孝宗弘治二年(1489)知县。王珣“建署及城隍庙、察院、铺舍。”林域、徐礼“建铺舍社学”。赵文奎“重建旌善申明亭，阴阳、医社、养济院，增修社稷、山川、厉坛。”明武宗正德十一年(1516)，福建莆田进士俞应辰任知县，建“名宦、乡贤二祠”。明神宗万历二十四年(1596)，江西浮梁举人吴缜任知县，将“旧县故署改建为同仁书院”。(以上引文见清道光六年《繁昌县志·卷之十》)

　　县城远离长江并没能“远害”，迁至的金峨上乡虽“据山川之秀，当五乡之会，而民咸便之。”可它四面环山，虽躲得了“江盗”，却躲不了“山寇”，县城成了繁昌、铜陵、南陵“山寇出没蹂躏之冲”，仅仅三里许的土墙怎抵得了“山寇”的袭击。

　　明嘉靖(1522—1566)、万历(1573—1620)年间以来，徐贡元、陈一简和林一柱屡屡上书朝廷，提议兴建县城。天启二年(1622)，“巡方御史林一柱题准城繁昌不果”，接着，又“具题城繁昌”。当林一柱费尽口舌，拿到建城的批文并具体规划时，却发现“邑民大哗，以为不便，”“又多以损民田室庐为辞。”终因“物力之不支,群情之不一”而停建。张家康