胡适从接任大使以来，便招惹来种种议论和流言。特别让人眼热的是，胡适在大使任内，竟如旋风般地往返美国、加拿大等地，用有些人的话说，名为讲演，实为游山玩水。还有就是所谓沽名钓誉接受名誉学位。四年间，他竟领得二十七个荣誉博士学位。如此风光灿烂、显山露水、出尽风头，怎不叫人羡慕嫉妒。于是，好些多事者便众口一词：胡适“只好个人名誉，到处领学位”。
这些议论和流言，到了1940年间，到了高潮。伴随这些流言蜚语的则是谣言四起。
中央研究院院长蔡元培病逝后，院长一职空缺，当时，评议会曾推举胡适继任，可是，蒋介石的意中人却是顾孟余。所以，当孔祥熙汇报中研院院选时，蒋介石生气了，随口说道：“他们既然要适之，就打电话给他回来吧！”
此信息传出后，传着传着便走了样，传到了海外竟成为：胡适即将回国当院长，颜惠庆将赴美任大使。
其实，早在一年前，胡适因病住院时，便传言颜惠庆将任驻美大使。当时，蒋介石知道后，唯恐影响工作，立即让王世杰给胡适拍去电报：外闻所传“颜惠庆继任的消息，纯属虚造”。
旧风波刚息，新风波又起。美国《中国日报》发表消息：“传颜惠庆将任驻美大使，胡适博士或调任中央研究院长。”
身在美国的胡适怎么能想到，这是蒋介石的气话惹起的风波，自然不能不信。于是找近人打听。
蒋介石赶忙又让王世杰致电胡适：“谣言所出，乃中研院院选所起。政府以美使之任重于中研院，故不拟调其回国。”
但是，实际上，蒋介石对于胡适处理中美关系的信心，到1940年春天已急速降低。在此之前，蒋介石很欣赏胡适的“苦撑待变”，但“苦撑待变”说起来容易，做起来难，“苦撑待变”是很难熬的。胡适没法告诉蒋苦撑到什么时候，什么时候能变。
中国抗战的形势越来越艰难，财政情况则更为拮据。
在国际上，除了美国外，凡是有能力帮助中国的国家（英国、法国、苏联）不但不帮助中国，反而出于不同动机而对中国进行伤害。到了1939年底时，中国政府上下，一种悲观的意识已经逐渐占了上风。认为，在当前状况下，实在无法再“苦撑”下去，而“待变”逐渐变得毫无意义，在“变”给中国带来好处之前，中国就可能会全盘崩溃。
蒋介石把越来越多的希望寄托在美国身上。1940年，蒋介石委任宋子文出任中国银行董事长，并派他为处理对外借贷的“私人代表”出使美国。宋子文的美籍顾问杨格随行。
同年6月14日，蒋介石在致美国总统罗斯福的信函中表达了他对宋子文的完全信任:“因世界局势之剧变，余觉有与阁下交换意见并请给予援助之迫切需要。因余不能亲来承教，特派宋子文先生为代表，前来华府晋谒，彼固为阁下素所熟悉者。余已授予宋先生代表中国政府在美商洽一切之全权，彼受余之完全信任，且其对国内之情形与对外之关系完全明了。敬请阁下惠予亲切之洽谈，一如与余私人接触者然，不胜企盼。”
胡适是国民政府派赴美国的特命全权大使，宋子文是蒋介石派赴美国的特命全权代表。在这种人事安排下，两者之间不产生摩擦是完全不可能的。更何况胡适一向对孔祥熙、宋子文等皇亲国戚不满，而对宋子文的印象尤差。
宋子文对胡适更没有好感。
1939年10月，报纸传说蒋介石兼任行政院长将改组各部，宋子文将取代孔祥熙出任财政部长或贸易部长，宋子良将取代陈光甫出任贸易委员会主任。胡适听到传闻深感疑虑，于11月7日给国防最高委员会副秘书长陈布雷发一密电，请转呈蒋介石:“鄙意对行政各部改组消息，颇有顾虑:(一)虑子文个性太强，恐难与光甫合作。(二)虑报纸所传贸易委员会改由宋子良代光甫之说如属实，则光甫所办事业，恐不能如向来之顺利。(三)子文今年夏间，曾向美财部重提棉麦借款，美财部疑为有意另起炉灶，印象颇不佳。以上各种情形，国内恐无人为介公详说，故弟不敢避嫌疑，乞吾兄密陈，供介公考虑。”
后来，宋子文出任财政部长并没有成为事实，这并不意味着蒋介石采纳了胡适的意见。但这件事不可能不传到宋子文的耳中，宋自然要把账记在胡适身上。
宋子文赴美之后的情况，胡适1942年5月17日在给翁文灏、王世杰的信中表述得相当直白:“某公(宋子文——作者注)在此，似无诤臣气度，只能奉承意旨，不敢驳回一字。我则半年来绝不参与机要，从不看出一个电报，从不听见一句大计，故无可进言，所以我不能不希望两兄了。去年12月8日我从国会回家，即决定辞职了。但不久即有复初之事，我若求去，人必以为我‘不合作’，对内对外均须费解释。故我忍耐至今。我很想寻一个相当机会，决心求去。我在此毫无用处，若不走，真成‘恋栈’了。”这说明，胡适和宋子文的关系，已经势同水火冰炭，毫无调和余地。
但是，宋子文到美国之后，借助胡适在美国打下的良好基础，和有利于反法西斯的大好形势，接连与美国签订《钨砂借款》、《金属借款》、《中美平准基金协定》三个协定，一连争取到三笔贷款。以上三笔美援的取得，宋自要归功于他本人，这便反衬出胡适外交工作的低效，也因之增添了蒋介石对胡适的不满。
宋子文来美国后，便竭力挤压胡适。1940年10月，宋子文致电蒋介石，很有针对性地说：“欲得美国切实援助，非空文宣传及演说所得奏效，务面向各政要及各界不断活动。”“际此紧要关头，亟需具有外交长才者使美。”他甚至公开提出撤换胡适，推荐施肇基接任驻美大使。
蒋介石统筹思虑，基本采纳宋子文的意见，但是，因顾及美国的反应，故迟迟未能成命。可是，宋子文却穷追不舍，连连去电，催促公布免去胡适大使职的消息。1941年7月12日，宋子文又参胡适一本，说胡适在工作上不予配合，“长此以往，不但文不能尽职，有负委任，适之亦属难堪。唯有恳请毅然处置，迅予发表”。
宋子文当了外交部长后，人仍在美国，几乎包揽所有的外交事务，而将胡适基本上边缘化。
一向能容忍的胡适，也愤愤不平地称宋子文为“太上大使”了。
1942年5月19日，胡适在日记中记道：“自从宋子文做了部长以来，（去年十二月以来）他从不曾给我看一个国内来的电报。他曾命令本馆，凡馆中和外部，和政府，往来电报，每日抄送一份给他。但他从不送一份电报给我看。有时蒋先生来电给我和他两人的，他也不送给我看，就单独答复了（他手下的施植之对人说的）。
“昨日我复雪艇一长电，特别抄了送给子文看，并且亲笔写信告诉他，意在问他如何答复，他今天回我这封短信说，“I replied much in the same vein（我已用同样的意思答复了）！”他竟不把他的电文给我看！
“记此一事，为后人留一点史料而已！”
这个大使再做下去，实在没意思了，胡适决定辞去大使一职，以打破目前尴尬难堪的局面。他给王世杰去信，表示既不做大使，也不做中央研究院长，因为，“我舍不得北大，要回去教书”，“我要保存我自由独立说话之权，故不愿做官”，“大使是‘战时征调，我不敢辞避’，中研院长一类的官不是‘战时征调’可比”。
1941年12月24日，他郑重其事地对宋子文说：“郭泰祺来美时，我曾经告诉他，我不想干这种外交官的事。若有更动驻美使节的需要，我随时可走。现在你是我的老朋友，新上司，我也同样向你声明。如果政府要更动驻美使节，也请你千万不要迟疑。我随时可走。”
可是，蒋介石还是迟迟不发表新的任命，胡适仍然被干晾着，一晃就是半年多。他无所事事，只得离开大使馆，到处演说，从美国的东海岸到西海岸，又到加拿大，行程一万六千多英里，演讲百余次，使中国抗战在美国人的心中，深深地扎下根。
1942年初，英国首相丘吉尔访美，他便“发现中国在相当多的美国人的心目中，有极其重要的地位，甚至在上层也是如此”。为此，他忿忿不平地埋怨道：美国人竟然“把中国看作几乎同大英帝国相等的参战大国”。
1942年1月，中、美、英、苏等26个国家在华盛顿签订了《对法西斯轴心国共同行动宣言》，国际反法西斯统一战线正式形成。
胡适这个“过河卒子”，如今“河”已过，胡适这个“卒子”就可以舍弃了。同年8月15日，国民政府以“心脏衰弱，不胜繁剧”为由免去胡适驻美大使职务，由魏道明接任。
被免职的当晚，胡适致蒋介石电:“蒙中枢垂念衰病，解除职务，十分感激。”在致蒋介石电文中，胡适又力称魏道明“庸劣”，美国报纸已有指摘，并推荐郭泰祺或蒋廷黻取代魏道明，以此表现他的“诤臣”气度。然而木已成舟，蒋介石不可能采纳胡适的意见。
为了对胡适稍加抚慰，9月初，国民政府行政院给了他一个“高等顾问”的虚位。孔祥熙又给胡适发电，问他是否缺钱花，归国川资够不够。
胡适于9月14日复电婉谢。