曾国藩初创湘军，有一种湖南人的蛮狠干劲，遇事勇往直前，对官场的颟顸、腐败、低效十分痛恨，但不善于调整人事关系，战事胜利得不到清廷的信任，战事失利更遭冷嘲热讽。胡林翼升为湖北巡抚后，十分注意调整湘军集团与外部的关系，也注意调整湘军内部的关系。
湘军对外的关系，最成功者当为湖广总督官文。前面说过，清廷让官文做湖广总督，坐镇武汉，监视湘军。胡林翼明知此中深意，但对官文极力笼络。胡林翼让自己母亲认官文宠妾为干女儿，每年将盐厘三千金供官文挥霍；凡好事，必推让官文出头，算上官文首功。因此，官文基本上对胡林翼言听计从，让胡在湖北放手大干，为湘军崛起大大减少了阻力。有学者认为，胡林翼与官文的关系，是湘军集团与清廷关系的缩影，由于胡林翼的努力，达成了双方的合作，正是由于双方的合作，才有了湘军对太平天国作战的胜利（王国平《论胡林翼与官文的关系及其影响》）。后来，曾国藩之弟曾国荃任湖北巡抚，便无法忍受官文，以巡抚弹劾总督，官文虽然离湖北，转眼便署理直隶总督，而湘系集团却更遭猜忌，曾国荃1866年弹劾官文，自己1867年就“因病”去职。由此更可见胡林翼处理人事关系的能力。
湘军集团内部关系的调适，最重要的是左宗棠、李鸿章与曾国藩的关系。左宗棠才干超群，但性格恃才傲物，有时把曾国藩也不放在眼里。1857年曾国藩负气离军营，左宗棠严厉批评，曾国藩也很生气，两人一度不通音问，在胡林翼调节下才和好如初。1860年，李鸿章因为劝阻曾国藩弹劾兵败的李元度无效，负气离曾国藩幕府，胡林翼深知李鸿章才干，劝李鸿章说：你以后必定发达，但一定依附曾公才可以成事。又向曾国藩进言，说李鸿章才干可用。曾国藩主动写信给李鸿章，李遂回到曾幕府。
由此可见，对湘系来说，无论对内对外调整关系，胡林翼都是不可缺少的关键人物。