Trong danh sách 4 người giàu nhất Sài Gòn thế kỷ 19, Tổng đốc Phương chỉ xếp hàng thứ 2 sau Huyện Sỹ, nhưng về danh tiếng và vai vế trong xã hội, khắp Nam Kỳ lục tỉnh không ai sánh bằng ông.