尽管在思想和做法上有诸多的不同意见，但在大局上，特别是在蒋介石为首的南京国民政府成立后的最初两年里，蔡元培在总体上，对内而言，在国民党内部争斗中是站在蒋介石集团一边的，对外则是的全力支持“清党”的。
1927年4月18日，蒋介石操纵下的南京国民政府成立。蔡元培作为国民党中央监察委员会代表，明确表明立场，反对当时的武汉国民政府。
6月19日至21日，他又与胡汉民、吴稚晖、张静江等，追随蒋介石参加与西北军阀冯玉祥商讨联合清共的徐州会议，并在这年9月，促成了南京国民政府同武汉国民政府合并的“宁汉合流”。
当时在南京，有蒋介石控制的“国民政府”和“中央党部”；在武汉，有汪精卫控制的“国民政府”和“中央党部”。另外上海和各地都有一些军阀把持的地方政权，但是主要以南京和武汉，蒋介石和汪精卫为主。
为了实现“合作清党”、“统一党务”，通过一系列酝酿和接触，冯玉祥从中牵线，与各方反复电商，于7月20日提出解决宁、汉合作的具体办法。汪精卫等表示愿意“和平统一”，同意“迁都南京”。
蒋介石、李宗仁、胡汉民等欢迎武汉重要分子到南京“柄政”，赞成各方“共同北伐”。8月上旬，宁、汉双方基本上达成了妥协。
在此期间，由于南京的蒋介石在争权夺利的斗争中处境渐显不利，加之蒋系的国民革命军在徐州战场遭遇失败等原因，蒋介石不得不宣布下野。
蒋介石的政治生涯中曾有三次下野，这是他的第一次下野。
蒋介石的下台促使南京和武汉方面迅速靠拢，8月25日武汉国民政府迁往南京，南京国民政府同武汉国民政府合并。因南京简称“宁”，武汉简称“汉”，史称“宁汉合流”。
这一期间，蔡元培继续积极地支持蒋介石。蒋介石宣布下野后，蔡元培与胡汉民、吴稚晖等人即联合通电，声明与蒋介石同进退，同时辞职。
在随后的宁汉谈判中，蔡元培与蒋介石的政敌——汪精卫针锋相对，他联合张静江、李宗仁、吴稚晖、李石曾等，以中央监察委员会的名义弹劾汪精卫，指斥汪精卫口是心非、阻碍清共。
蒋介石的下野当然只是一时的权宜之计，他并未失去江浙财团和国民党黄埔系军官的支持。
1927年12月10日，国民党二届四中全会上通过恢复蒋介石国民革命军部司令的职务。身为国民党元老的蔡元培即发表拥蒋宣言，他在南京向新闻界说，蒋介石“功在党国，此次再任艰巨，自极赞同。余意蒋先生复职后，必能将所有军队凡立于铲除共.党、打倒军阀之旗帜者，结合为一”。
随后，蔡元培又与国民党军政首领们一道去南京车站迎接蒋介石复职，并在欢迎会上发表讲话称，蒋介石“与本党历史甚深”，蒋的复职，“不独北伐可以进展，而一切困难问题，亦可解决。”
那时的蔡元培，对蒋介石还是寄以厚望的。认为无论如何，只有支持蒋这样年富力强的领导者才能完成北伐大业、进而完成统一中国的革命事业。
只是，随着时间的推进，随着蒋介石的种种卑劣行径逐渐浮出水面，蔡元培的思想渐渐发生了变化。看来，他对蒋的认识，总是要有个过程的。
如果说，空前惨烈的清党大捕杀，虽然没有从根本上改变蔡元培对蒋介石的支持，但毕竟埋下了诸多芥蒂。而让蔡元培这样的自由知识分子，更为不满的是蒋介石日益显露出的独裁倾向。渐渐地，蔡元培不再毫无保留地支持蒋介石了。
1928年9月，蔡元培以在国民党《三民半月刊》第1卷第4期发表《三民主义的中和性》一文，告诫国民党当局在反.共的同时要谨防出现法西斯主义，明确提出“若口唱三民主义，而精神上不是法西斯，便是波尔雪维克(即布尔什维克)，那就是孙先生的罪人了”。
1928年10月8日，国民党的中常会再次推蔡元培为国民政府委员并兼任监察院院长。蔡元培感到，这个任命实际上是出于蒋介石在国民党内派系斗争的需要，他不愿去趟这个浑水。
在10月13日在写给吴稚晖的私函中，蔡元培写道：“此次国府委员名单及院长与主席人选，完全由先生及张、李两先生提出，诸先生不避嫌之勇气，固为可佩，然未免太露骨，如留弟一人，立于半超然之地位，仍亦不为无益。”
他建议让与蒋介石关系密切且同样老资历的张静江来干这个职务，私下里他却对胡适说：“这时候哪有监察的事可做？”
从这个时候开始，蔡元培这个在国民党内有影响的人物，在党内纷争中，不再坚定地站在中国政坛日益崛起的蒋介石一边，而是采取了他常说的“超然”态度，有时甚至站到了蒋介石的对立面。
1929年，蒋介石的亲信、湖南省主席鲁涤平被国民党中的桂系免职，与南京的蒋介石政府发生矛盾。蔡元培作为“湘案”的查办员，反对蒋介石用武力对付桂系。调解过程中，蒋介石扣押了由蔡元培等国民党四元老邀请来南京的李济深。蔡元培知道后深为惊怒，对蒋介石越发反感。
1931年2月，国民党早期领导人、时任立法院长的胡汉民，因拒绝支持蒋介石的有关举措，被蒋介石扣押软禁，引发国民党内反蒋各派联合在广州另组国民政府。形成严重的宁粤对峙，双方剑拔弩张。
蔡元培作为南京方面的代表，与张静江、吴稚晖等赴广东居中调解。
在宁粤双方的谈判会议上，蔡元培先后担任会议主席。
时任会议秘书的程沧波回忆说：“蔡先生当时做主席，尽管李文范在那里跳，伍朝枢冷嘲热讽地骂，他坐在席上丝毫不动。……宁粤相争，尽管闹得满天星斗，但蔡先生处之泰然。这一段期间，我跟蔡先生接触很多，不但白天有接触，晚上也常到他那里。他很少谈和谈的事，也不谈现实的问题，他很超然，眼光看得很远，仍然是谈教育、谈思想、谈文化。”
在私下，蔡元培这时与国民党内反蒋的邓演达、陈铭枢来往，参与策划倒蒋活动。他们商定，看准时机在军事上占领闽粤一带，然后由蔡元培领衔发表对时局的宣言，呼吁和平、停止内战、一致对外。
陈枢铭后来回忆：“其时，我认为蔡元培有政治威望，择生(即邓演达)有群众基础，我有军事力量，我们三人合作计划实现，定可另开一新局面。”
恰在随后，发生了震惊国人的“九一八”事变，日本占领中国东北。为避免国内的政治分裂，使外敌有隙可乘，蔡元培与陈枢铭遂放弃倒蒋的计划。
这时蔡元培的身份仍是受蒋介石指派的南京方面谈判代表。但在谈判中，蔡元培没有替蒋介石说话，他抵广东后不久，即接受广东方面提出的和解条件：任命陈铭枢为京沪卫戍司令，调他的十九路军驻扎京沪一带。接受把蒋介石下野做为双方和解的先决条件。
闻知蔡元培轻易接受粤方条件、以自己下野促成双方和解，蒋介石十分生气，第二天即致电斥责。
“九一八事变”之后，蒋介石提出“攘外必先安内”的政治策略。一方面下令张学良的东北军撤出东北，将中国大片疆域拱手让与日本人。另一方面加紧对共产党的围剿，全然不顾国内一片抗击日寇的呼声。这时候反对蒋介石的国民党高层也给蒋介石更大的压力，他们逼迫蒋介石交出权力。为了给国民党内外一个交代，蒋介石只好第二次下野。
蒋介石第二次下野，从1931年12月15日开始，到1932年1月28日结束，历时只有一个多月。由于蒋介石共进退的财政部长宋子文也宣布辞职，于是南京国民政府人财两空，政府混乱。这样一来，国民党内又响起起用蒋介石的呼声，于是蒋介石顺理成章地第二次复出。
对蒋介石的这一次复出，蔡元培非但没有表达欢迎之意，反而在汪精卫邀请他加入蒋汪联合政府的时候予以回绝。
他说：“救国必须分工，自献宜稽效率。运筹帷幄之内，折冲尊俎之间，实非墟如弟者，所能助力。若强作解事，相与周旋，隔靴搔痒，徒乱人意；不如择性所近，尽力所及，竭一得之愚，求几分之效，比于不贤识小，借告无罪云尔。”
至于蒋介石对蔡元培，其实从没有好感，只不过是利用蔡的名声和人脉。这在蒋介石的日记中可看出，“惟其在教育上与本党主义之功罪而言，以吾所见者，但有罪过而已，尤其是教育受其乡愿式之影响为更恶劣也。”
从蒋氏这一日记中不难看出，蒋对蔡其人，乃至对蔡所从事的教育事业是何态度。