从那次王衙坪返来，曾国藩又派人把王世全接到桑园街住了一天。王世全把彭玉麟的环境详详细细地奉告曾国藩。当然，王世全不晓得彭玉麟至今单身的真正启事，而曾国藩却更佩服玉麟"匈奴未灭，无以家为"的志气，以为是当今少有的奇男人。他对世全说："一旦彭玉麟到了你家，你就派人奉告我，我要亲到贵府去拜访他。"刚巧这时上月派往江西体味军情的郭嵩焘，从江西带着江忠源的信，来到了衡州桑园街。江忠源鉴于承平军海军的强大，力劝曾国藩在衡州练习海军，并承诺向朝廷上奏。郭嵩焘也把在火线所看到的承平军炮船，在江上来往如飞的威风奉告曾国藩。曾国藩愈想早一点见到彭玉麟。
常言道，插起招军旗，自有吃粮人。衡州、衡山、祁阳一带向来多船民。这些船民，并不打渔，而是靠长途运货为生。自从承平军这一两年在湘江、洞庭湖一带扑灭烽火以来，长途贩运的船民的生存遭到很大影响，很多人只得改行另餬口路，但大部分既无田，又没有别的技术，糊口很困难。得知曾国藩在衡州招水勇，连个橹工的饷银都能够赡养一个四口之家，因而这一带赋闲的船民接踵而来。短短十天，前来当兵的便有二三千，大大超越一个营的体例。曾国藩决定从中挑出一千五百人，同时建三个营。任命彭玉麟为第一营哨官，杨载福为第二营哨官，褚汝航为第三营哨官。
彭玉麟第二天就搬进桑园街赵家祠堂。曾国藩想起杨载福在洞庭湖上的出色演出，感觉杨载福实在是个可贵的海军军官，便向彭玉麟先容了杨载福。二人相见，甚是欢洽。前些日子，曾国藩从长沙请来永泰金号老板黄冕到衡州。黄冕曾在江苏一带任过量年知府，见过很多炮船，观察过江苏水营，对办海军有经历。又调来在广西管带过水营的候补同知褚汝航。杨、黄、褚三人和彭玉麟一起参议海军的筹建。先定在石鼓嘴下的青草桥边建一大造船厂，广招各方木工，尽力造船。为相互辨认和壮阵容，彭玉麟还为新筹建的海军第一营设想了各色旗号。
彭玉麟来到王衙坪的第二天下午，曾国藩就来了。玉麟见曾国藩亲身来看他，非常打动。有点局促不安地说："曾大人，玉麟渣江街上一落魄墨客罢了，岂敢劳大人屈尊降贵前来，这实在是千万担负不起的。"曾国藩双手拉着玉麟的手，细心打量着这位早几年才进学的秀才，公然长身玉立，英迈娴雅，在清秀的端倪之间流暴露一股卓尔不群的勇武气势来。他俄然在脑筋里闪现出由秀才而封王的郑胜利的形象，心中喜不自已，笑道："听世全先生先容，雪琴兄是时下罕见的奇男人，国藩心仪已久，本日有幸结识，实为三生缘分。"一股相见恨晚的诚意深深打动了彭玉麟。他冲动地说："大人言重了。大人以朝中卿贰之贵，在衡州练习虎旅雄师，为衡州大壮声望。大人文武兼资，一身担天下重担，大人您才是真正的奇男人。"曾国藩哈哈一笑："衡州是国藩的故乡，何况本日还谈不上壮声望，即便壮了声望，也是应当的。""雪琴晓得大人要办海军，极愿为大人效力。"王世全说。
"此事真可载儒林趣谈。客岁足下在耒阳当机立断，发仆人质库数百万钱募勇制旗守城。这类魄力，国藩深佩不已。"玉麟淡然一笑："这也是仓促之间，无可何如。当时县令请饷，竟无一应，只得以此应急，也顾不得仆人肯不肯了。""将在外，君命有所不受。就凭这一件事，足能够看出雪琴兄的将才。"大师都笑起来。曾国藩说："军事殷急，不容闲暇。请雪琴兄明日就搬到桑园街去，当即动手筹建水营。不过，有一事我想劝足下一句。" "请大人见教。"