伍秉鑑更出名，是因爲美國一本雜誌將他評爲那個時代的世界首富，卻不知道伍家的財富加起來，根本就無法跟潘家相比。
伍家發跡主要就是三代人，第一代是伍秉鑑的父親伍國瑩，第二代是伍秉鑑的哥哥伍秉鈞，等到了第四代掌門伍崇曜的時候，伍家就開始走下坡路了。
而潘家卻比伍家從容的多，他們是積累了鉅額財富後，主動退出的。
潘家發跡得說伍家之前的十三行總商潘振承，潘振承的父親是一個普通農民，有一股子中國農民獨有的喫苦耐勞精神，玩命幹活養活五個兒子不說，還堅持送他們去讀書。
潘振承繼承了這個優良傳統，但受迫於家庭貧困，13歲的時候就給人當船工冒險出海，把貨物販賣到菲律賓，賣給洋人，在與洋人長期的生意往來中，潘振承學會了西班牙語、葡萄牙語和英語。
藉助這些優勢，潘振承24歲的時候，也就是乾隆三年，在廣州加入了一個福健老鄉的洋行，同鄉掙夠了錢後，跟許多中國商人一樣，帶着錢財回老家買地當地主去了。潘振承此時也積攢了一筆資金，向清政府申請成立了自己的洋行，就是大名鼎鼎的同文行。
潘振承沒打算掙一筆快錢就走，所以經營上一直誠實可信，得到了洋人的信賴，稱他是“最可信賴的商人”，是“行商中最有信用之惟一人物”，發展到最後經常會預支給他多達十萬兩以上的預付款，這讓潘振承的經營如虎添翼。
十年後同文行就已經成了gd最大的商行，不久乾隆下令關閉了福健、浙茳等其他地方的通商口岸，廣州進入了長達八十多年的一口通商時代，也進入了潘振承的時代。
開辦同文行第十八個年頭，乾隆二十五年1760年，潘振承被官府選爲廣州十三行商總，並在之後的39年間一直擔任這一職務，不但積累了鉅額財富，還在洋人面前保持了顯赫的地位，法國商人在根據當時一個與潘啓做過生意的法國商人在法國雜誌上描述，潘家每年消費多達300萬法郎，財產比西歐任何一個國王的地產還要多。
就像伍秉鑑有意扶持美國人一樣，潘振承也有自己扶持的貿易對象，就是當時實力還很弱小的瑞典東印度公司，原因很簡單，這是豪商層次的外交策略，潘振承不可能看到英國人一家獨大，他需要給英國東印度公司培養競爭對手，就好像後世的美國蘋果等大公司，總是培養不同的供應商，讓他們競爭然後自己漁利一樣，商場上也將就外交策略，甚至西方的外交方法很可能就是這麼發展出來的。
因爲這樣的關係，潘振承跟瑞典人建立了牢固的信任，甚至還參與了瑞典東印度公司的生意，在其中投入巨資。
瑞典大名鼎鼎的哥德堡號貨船，最大的商品供應商就是潘振承，要知道這艘船可是瑞典舉國之力打造的，瑞典國王對此寄予厚望。後來潘振承將自己的一副玻璃畫像送給瑞典商人。那幅畫像之後一直保留在瑞典哥德堡市博物館裏。潘振承還是第一個使用匯票跟洋人做生意的中國商人。
就是大名鼎鼎的伍家，發跡之初，伍秉鑑的父親伍國瑩就是在潘家的商行中當夥計，學會如何跟洋人做生意的。
因此可以說伍家是在潘家的幫助下成長起來的，只是潘振承有一種中國商人在文化上的自卑心態，他發家之後不是培養子孫繼續經商，而是一心培養有才能的子孫讀書科舉做官，他的兒子潘有爲在乾隆年間考取進士，官至內閣中書，參與過四庫全書的編纂。潘振承以此爲榮，同時以自己的商人身份爲恥。
潘振承死前還留下遺訓，讓潘家子孫永世不得擔任總商。甚至在他家的族譜中，都沒有記載他當過總商的事蹟，他的兩代接班人潘有度和潘正煒在族譜中甚至都沒有記在曾經經商過，爲的就是洗清潘家的商人基因，徹底轉型成爲一個詩書門第。潘有度甚至比他爹更甚，發出寧爲一條狗不做行商首的遺言。
在幾代人的努力下，潘振承第四代之後，就退出了商界，潘家的同孚行也賣給了伍家。
至於潘仕成，卻跟潘振承不是一系，潘仕成的爺爺是潘振聯，跟潘振承是兄弟，也是在廣
州經商發家，不過做的是鹽商。但是潘仕成這一支一直想加入行商，潘仕成的父親潘正威曾經向清政府申請成爲洋商，但沒有得到批准。但他們暗中藉助堂叔以堂叔潘長耀的麗泉行與英國東印度公司入行貿易，賺了不少錢。而且每年還能節省給政府的5萬兩行商稅銀，等生意交到潘仕成手裏的時候，他繼承的家業達兩千萬兩。
最有名的要數，1814年潘長耀在美國聯邦最高法院控告紐約及費城商人，拖欠自己100萬兩貨款的事情。因爲滿清朝廷根本不會在中國商人跟外國商人的商業糾紛中發聲，反而總覺得一旦有衝突，是丟了天chao上國的臉面，潘長耀不得已在美國起訴。
潘長耀爲此還在1815年，致信美國總統麥迪遜，要求美國注意監管本國的商人。這封信以葡萄牙文，英文和中文三種文字寫成，三封信留存在美國博物館和美國國家檔案館。可惜潘長耀最後打贏了官司，但是沒有討回錢，直至10年後，麗泉行倒閉，貨款仍未拿到。
潘長耀、潘振承和潘仕成這三家，可以說任何一家都不比伍家差半分，但卻因爲重農抑商的傳統觀念，讓潘家的核心家族潘振承家族選擇了退隱，一心轉變成耕讀傳家的傳統士紳身份，這纔給了伍家崛起的機會，甚至不得不讓人懷疑，潘家是有意扶持伍家代替自家的地位，否則擔心自己脫不了身，同樣的故事後來也發生在伍秉鑑身上，也是爲了謀求脫身費盡心機。
可以說跟名頭更大的伍家相比，潘家纔是隱藏更深，更有底蘊，更有深度的行商巨鱷。
跟潘振承家族不同的是，潘仕成家族這一系，始終堅持經商立身，他爹想盡辦法參與行商買賣不說，潘仕成更上一層樓，通過捐官捐來了二品的頂戴，同時找到了大靠山耆英，得以延續潘家的貿易，甚至在鴉爿戰爭之後，依然做的風生水起。
潘仕成顯然走出了胡雪巖之前的官商路徑，把在朝廷有一個靠山視作最大的本錢，極力用心去經營。爲此每每到了朝廷有難的時候，就會不惜重金的進行政治投資，比如道光二十一年，潘仕成先後捐助五千斤、三千斤、二千斤炮四十尊。第一次鴉爿戰爭捐助軍工海防，捐建戰船和水雷，承辦軍火生產、幫辦洋務、建造船廠、火藥廠。這兩年進行的第二次鴉爿戰爭中，也沒有閒着，一度奉命督辦沿海七省戰船，並自動捐資加造戰船。
可是政治投資的大筆付出，沒有換來好的結果，他的大靠山耆英在英法聯軍剛剛攻佔天珒的時候，奉命去談判，結果英國人認爲耆英多次向皇帝隱瞞廣州的情況，不相信耆英，將耆英趕回了京城，耆英回去之後，被咸豐皇帝賜死，換了桂良和花沙納去談判。
耆英一死，潘仕成就非常擔心自己受到牽累，整日憂心忡忡。要知道以往他跟耆英可是盟友關係，他給朝廷出錢，耆英幫他奏請皇帝受賞。他們的關係異常的密切，甚至潘仕成家的潘仕成家的豪宅，海山仙館園門前的懸匾“海山仙館”，四字匾額都是時爲兩廣總督的耆英所書。
就在潘仕成擔心自家會因爲耆英的獲罪而受到牽累的時候，柏貴找到了他，柏貴找他的目的則是希望廣州的商人能往新安做貿易，好堵住洋人非要到廣州的藉口，此時柏貴即將接任兩廣總督的消息，信息靈通的潘仕成早就知曉了。
但是柏貴找的並不是潘仕成，而是潘振承家族，是潘仕成收到消息，主動上門，請求同宗幫忙介紹，並且跟同族達成了協議，已經退出的潘振承家族，將家族生意全都轉交給了潘仕成。
因此後來打着四大行商潘家名義來新安建立商行的，其實是潘仕成，而不是正宗的十三行總商潘振承家族。
不過由潘仕成接過潘家的生意也不算什麼，畢竟潘仕成雖然是鹽商，但主營業務除了食鹽就是茶葉，他本人就是品茶的大名家，甚至廣州城廣爲流傳的一款品茶名器就叫做潘壺，是由潘仕成專門在宜興定做的紫砂壺流傳而來。
因此做茶葉他做的一點都不比本家差，所以柏貴也好，朱敬倫也好，都算是認可潘仕成打着過去的同文行旗號頂替潘振承家族的事情。
至於瑞典商人跟潘仕成之間，那就又是另一番故事了。