南宋绍兴二十八年（1158）在钱塘门上增筑楼阁，登临远眺西湖，朝晖夕阴，气象万千。门外多佛寺楼台，往天竺进香者多由此门出入，有“钱塘门外香蓝儿”之谣。