Первоначально здание было двором султана Биджапура Юсуфа Шаха. В 1615 году Португальцы основательно перестроили его, превратив в путевой дворец генерал-губернаторов и вице-королей, которые обычно ночевали в нем по дороге из Старого Гоа в Старый Свет или обратно. Усилиями европейских архитекторов образец мусульманской архитектуры превратился в колониальную постройку с черепичной крышей.
С 1759 года до 1918 года во Дворце Идальго, так дворец стали называть по завершении реконструкции, размещалась официальная резиденция вице-короля, а с 1843 г. еще и Секретариат португальской колонии. Впоследствии резиденцию перенесли в Паласио-ду-Кабу, стоящей на самом уголку мыса Каабу, находящегося в 8 километров к западу от Панаджи.
К востоку от Секретариата стоит памятник аббату Фариа.
