天正8年（1580年）に筒井順慶が城郭を整備、さらに天正13年（1585年）以降、豊臣秀長が大増築し、大和を代表する城郭となった。城郭の建設の際には、周辺の寺社からも石材を調達したため、石垣には石仏が組まれた箇所もある。江戸時代以降も大和郡山藩の中心として栄え、敷地内にある柳沢文庫では歴代藩主による貴重な文化遺産を確認できる。