他74歲仍每天拍13個小時戲，年輕時開廠住半山豪宅，昂貴藏品眾多

潘志文因此不能常居外公家，而一度到澳門求學。之後他重返香港，由母親撫養長大。因家中還有一兄一妹，他曾寄住在不同親戚家。