Tophanelioğlu'nun bu en meşhur köşkü, semte ismi verilen 1727 tarihli meydan çeşmesinin sol tarafında, Kısıklı Caddesi üzerinde idi. Civarında küçük bir çarşı vardı. Köşkün sahibi Osman Paşa, kapıcıbaşı, kasapbaşı, arma emini, matbah emini ve gümrük emini görevlerinde bulundu. Sonra vezaretle tophane nâzırı ve mühimmatı nâzırı oldu. Bazı valiliklerde bulunduktan sonra 1828'de Boğaz muhafızlığına getirildi. 1829'da bu görevine ek olarak Teke sancağı verildi.
Osman Paşa'nın vefatından sonra varislerine intikal eden köşk, 1862 tarihinden sonra yıkılmıştır. Osman Paşa, 27 Eylül 1838'de vefat etmiş ve Haydarpaşa Mezarlığı'na gömülmüştür. Osman Paşa'nın Ayazma İskelesi ve Salacak İskelesi arasında, ağalığı zamanında tasarrufunda olan, bir küçük yalısı vardı. Diğer bir yalısı da Emirgân'da idi. Osman Paşa'nın bir köşkü de Haydarpaşa Sahrası'nda ve Anadolu Lisesi'nin üzerinde bulunduğu sırtta idi ki, bu yere şimdi birçok apartmanlar yapılmıştır. Köşk, arkasındaki ünlü bağdan dolayı ?Ağabağı Kasrı' ve Osman Paşa'nın mesleğinden dolayı da ?Gümrükçübağı Kasrı' isimleri ile meşhur idi.
