虽然出生于江苏省松江府川沙县，但胡适更愿意说他是安徽省绩溪县人。
绩溪位于黄山与天目山接合部，县界及境内有海拔千米以上山峰40余座，重峦叠嶂，溪流纵横，地势高于邻县，史称“宣歙之脊”。山脉、盆谷相间，呈“多”字形延伸。中部是贯通南北的断裂带，县城位于断裂带中南段的华阳断陷盆地。清凉峰踞县境东端，界皖、浙两省三县，顶峰及其北坡坐落境内。中部东西向凸起，溪水南北分流，分别入钱塘江和长江。
绩溪属徽州府，在安徽省南部。徽州全境多山，风景虽然秀美，但山多地少，土瘠民贫。因此，徽州人大多离乡撇井，外出做生意，以善于经商闻名全国，甚至有“无徽不成镇”的说法。
有人说，这样的特殊地理生活条件，造就了徽州人的三个突出特点：其一、重乡党观念，以“徽州帮”为最有名。其二、艰苦奋斗的精神，有“徽骆驼”、“绩溪牛”之称。其三、重文化教育，出了像朱熹以及胡仔、江永、戴震、俞正燮、凌廷堪、胡培等许多著名学者。
是不是真的如此，还需史家去考证，但有一点是肯定的，徽商和晋商一样，确是很值得自豪的一族。
有意思的是，这些特点，在胡适身上几乎都有体现。他以徽州人自居，爱吃徽州锅，喜欢攀徽州同乡关系。1953年1月，他为绩溪旅台同乡会题辞，写的便是“努力做徽骆驼”六个字。直到晚年，他为凌鸿勋编著的《詹天佑先生年谱》作序，仍不忘以詹天佑的“徽州同乡后辈”自居。对于徽州历代的几位著名学者，更是常常念在口中，写在文章里，钦敬不已。
皖南的山生得好，绿得深。到了这一带，势虽不雄，峰头却依得紧，依得密，分不出一点断处，显出一种结实的样子。过鸡公关，在绩溪城西约80里，横起一座大会山，在它的下面，墙色粉白、屋檐青黛的房子散了一片，便是胡适的老家——上庄村。是胡氏聚族而居的一个大村落，是群山环抱着一块小小的盆地。山峰苍翠，耸立村北，像蓝天底下绿色屏障，护卫着整个山村。清澄的常溪河，由村西向南，潺潺流淌，穿过杨林石桥，蜿蜒东去。作为母亲河滋润着上庄的农田。
世代聚居上庄的胡氏，据说始祖昌翼公原非胡姓，而是唐昭宗李晔的太子。因避朱温之乱，随义父胡三公逃亡南方，匿居民间，便改从胡姓。后唐同光三年(975)以明经登第，故世称“明经胡氏”，至今民间仍称之为“李改胡”。这些既阔且贵的事迹却不见于史册，很可能是胡氏后裔为神化抬高他们的祖宗而写在族谱里的一种杜撰。
胡氏虽找到了贵为帝胄的祖宗，迁居上庄以后的六百余年间，却并无仕宦显赫之人。一直到光绪二十年(1894)，胡适的父亲胡传做到了“三品衔在任候补知府台湾台东直隶州知州”，要算是上庄胡氏族中最显赫的官儿了。
胡适的家族，原本不是什么书香门第，而是几代经商，做茶叶生意。他的高祖由小本经营，居然在上海的川沙开设了一家小小的茶叶店。他的祖父扩大营业，并在上海华界增设了一家支店。到他父亲胡传做了官，本钱充裕了，生意便越做越兴隆。胡传死后，家里还留有上海一家裕兴泰茶叶店，一家公义油栈，在汉口还有一家两仪酒栈。只是因为胡适的父亲胡传的逝去，这些产业也先后随之而陷入了不景气。
胡家第一个有志读书的，就是我们前边几次提到的，胡传的伯父，也就是胡适的伯祖父胡奎照，字星五。可怜他寒窗苦读十余载，连个秀才也没考上，只在乡里教私塾，人称星五先生。
胡适出世后刚满90天，其父奉旨调往台湾。
胡传到台湾任“全台营务处总巡”，在6个月内将全岛考察一遍，这趟壮游，南到恒春，北至沪尾 (淡水) ，深入后山台东、花莲、宜兰，远达外岛澎湖，亲赴全台31营、28哨、2队，考察防务设施及训练情形。接着，办理台南盐务，积弊一清，盐务大有起色。
1893年，奉委“代理台东直隶州知州”一职，兼“镇海后军各营”统领，大力扫除军中鸦片，加强后山防务。在台任职3年6个月，迄台湾割日，奉命内渡。
胡传生前最后的官衔是“ 诰授通议大夫、赏戴花翎、江苏候补知府、前台湾台东直隶州知州兼统领镇海后军各营屯”，赏加三品衔。
胡传在台东州官期间，奖励农桑，教育原住民；以文官兼武职，整顿营务，巩固海防，心力大多投注在军事方面。在他的《台湾日记与禀启》里，详细记录了他在台东将近两年（光绪19年6月1日至光绪21年闰5月3日 ， 1893.7.13 ～ 1895.6.25）所做的努力。从这些记录里，非但可以看出清代末年政治和军事的一部分情形，也可以知道当时少数知识分子对于时局的态度，以及一个实事求是的读书人对于改进政治的措施。
这些理想，虽因台湾割让日本而未实现，但可以肯定的是，在近代中国边疆的开发史上，其事迹足以名垂青史。
到1893年春天，冯顺弟便带着一家子，抱着小儿，去台湾投亲。在胡传做官的台南和台东，度过了将近两年的很快乐的团居生活。
那时已年过52岁的胡传。在公务之暇，剪一些红纸方笺，用毛笔端端正正写上楷字，教年仅20的冯顺弟认字。他们两人又一起教刚过两岁的小儿也开始咿呀识字，父亲当教师，母亲既是学生又兼助教。这老夫少妻稚子三口，享受到了人间很美好的情爱和天伦之乐。到离开台湾时，母亲认了近千字，小儿胡适也认了七百多字。
幸福是那样短暂，瞬息即逝，悲痛却来得那样突然，沉重。中日甲午战争爆发的第二年，胡适母子刚离开台湾，回到绩溪故乡不久，就传来了他父亲胡传病死在厦门的噩耗。
这家庭的巨变和不幸，在胡适幼小的心灵里，留下的记忆是：“这时候我只有三岁零八个月。我仿佛记得我父亲死信到家时，我母亲正在家中老屋的前堂，她坐在房门口的椅子上。她听见读信人读到我父亲的死信，身子往后一倒，连椅子倒在房门槛上。东边房门口坐的珍伯母也放声大哭起来。一时满屋都是哭声，我只觉得天地都翻覆了！我只仿佛记得这一点凄惨的情状，其余都不记得了。”
胡适的母亲遭到这般沉重的打击，当时还只有22岁多2个月零17天，虚龄也只23岁！她在人生的途路上还刚刚迈开几步，刚刚尝到一点生活的甜蜜，便青年丧夫，做了寡妇，这是一个中国妇女的最大的不幸！而她又“以少年作后母，周旋诸子诸妇之间”，再加上家业中落，经济困窘，如胡适所说，“困苦艰难有非外人所能喻者”。
胡适的母亲23岁守寡，一直守了23年，受尽了人生的痛苦和折磨。
因为丈夫的逝去，年仅23岁的冯顺弟成了乡村大家族的主母。
冯顺弟仁慈而质朴，为主持好一大家子，时时处处小心谨慎，宁愿个人受些委屈，也不愿弄得家庭不和。婆媳关系历来难处，何况是年纪轻轻的婆。胡适大嫂二嫂都生的是儿子，一不顺心便打孩子出气，一边打还一边说些尖刻话来刺激胡适的母亲。冯顺弟总是装着听不见、忍辱负重，从来没说一句伤人感情话。但她也是一个讲原则人，尽管处事逆来顺受，但却不接受人格侮辱。
胡适的五叔是个游手好闲之徒，有一天在烟馆里发牢骚、说胡适母亲家中有事总请某人帮忙、肯定给他好处不少。不知怎么的，此话传到胡适母亲耳中。她气得大哭，请几位本家来，把五叔喊来，当面质问他她给某人什么好处。直到五叔当众认错赔罪、她才罢休。
这一切胡适都看在眼里，他的身上留有母亲品格的烙印。胡适后来也坦承，他日后好脾气的养成，和他这段日子的冷眼旁观很有关系。童年的乡村生活，对他的一生产生了巨大深刻、无以替代的影响。
冯顺弟对胡适既是慈母兼严父，又是恩师兼严师。她从不溺爱独子。胡适说：“她从来不在别人面前骂我一句、打我一下。我做错事，她只对我望一眼，我看见了她严厉目光，就吓住。犯的事小、她等第二天早晨我睡醒时才教训我。犯的事大、她等到晚上人静时，关房门，先责备我、然后行罚。”
有一个初秋的夜晚，胡适吃了晚饭，在门口玩，身上只穿着一件单背心。这时候母亲妹子玉英姨母在胡适家住，她怕胡适冷，拿了件小衫出来叫他穿上。
胡适不肯穿，她说：“穿上吧、凉了。”胡适随口答道：“娘（凉）什么、老子都不老子呀。”（意即老子已经死了或不在身边。有可能来源于胡适的两个嫂子说的风凉话。）
胡适刚说了这句话，一抬头，看见母亲从家里走出来，胡适赶快把小衫穿上。但她已听见这句轻薄的话了。
晚上人静后她罚胡适跪下，重重责罚了一顿。她说：“你没了老子，是多么得意的事！好用来说嘴！”母亲气得坐着发抖，也不许胡适上床去睡。
胡适跪着哭，用手擦眼泪，不知擦进了什么微菌，后来足足害一年多的眼翳病。医来医去、总医不好。
胡适母亲心里又悔又急，听说眼翳可以用舌头舔去，有一夜她把胡适叫醒，真用舌头舔他的眼翳。
冯顺弟这种既严厉又保护其自尊心教育方式，使胡适从小就懂得正经做人、爱惜名誉，这为他日后不断上进奠定了基础。