自鸦片战争以来，英、法等列强凭借海上优势，在中国东南沿海肆虐横行，极大的冲击、动摇了清王朝封建统治的基石。清王朝面对有海无防、处处挨打的局面，一改历代备边多在西北的格局，转而重点加强海防建设。同治光绪年间，慈禧太后积极主张将练兵、制械、加强海防、徐图自强作为立国“一件大事”，鼓励洋务派官员不必顾及顽固保守派的指责，尽心兴办。这不仅在一定程度上体现了最高统治者对洋务派的信任与倚重，更重要地是反映了清王朝国防重点的转移。正是在这种思想指导下，中国沿海地区陆续开始了造船、造炮、修筑炮台，编练新式海军舰队的活动。
在第一次鸦片战争中，直接与英国侵略军交战的林则徐深刻感受到近代海军的威力，提出“师夷长技以制夷”的主张，最早提出了建立近代海军的构想。但当时朝野却仍昧于世界大势，还认为中国是位于世界中心的“天朝上国”，外国仍是远逊于中国的“蛮夷之邦”，“师夷造船”有失“天朝”体面，所以不仅安于现状，而且反对买船造船。林则徐提出购买、仿造近代军舰的想法和实践遭到朝野上下的激烈反对，道光皇帝甚至在林则徐建议造船的奏折上批道：“一片胡言”。林则徐建立近代海军的方案被否定，有名无实、落后**、早就不堪一击的绿营水师仍是当时中国惟一的水军。虽然后来在镇压太平天国的运动中，湘军在江南多次与太平军进行水战，不得不建设水师，但仍然都是旧式水军。第二次鸦片战争时期，英法侵略军从海上进攻，最后直入都城，使朝野深受震动。一些人开始认识到近代海军的厉害。从19世纪60年代初清廷开始考虑仿造或向西方购买军舰，这时，距林则徐提出的建立近代海军的建议已整整20年！而就在这20年间，西方的海军取得了飞跃性发展，蒸汽军舰已逐步取代风帆舰艇成为了海军主要舰只。
尽管清廷开始较以往重视海军建设，开始海军的初创。但与中国漫长的海岸线和面临的险恶的国际形势相比，清廷对海军的重视显然不够。所以海军发展很不理想。新式海军的发展极其缓慢。更为重要的，是在后世看来也更难理解的是，当时全国竟然没有一个统一的海军指挥机关，各支水师皆由当地督抚管辖。本就很难协同作战，而各省督抚更将水师看作是自己的私产，不但难以调遣，更是不愿改变。象长江属南洋管辖，南洋大臣名义上有对长江水师的节制权，但当新任两江总督兼南洋大臣沈葆桢奏请将南洋各水师统一整编，去除旧式帆船，改换成蒸汽舰艇，对此。统管长江水师的长江巡阅使彭玉麟竟以种种理由推托。两江总督南洋大臣的号令都很难在自己所辖的长江水师中贯彻。全国海军的整体状况便可想而知。简而言之，清廷仍是用管理传统水师方法管理近代海军，根本未意识到近代海军装备技术相当复杂，必须统一，系统管理高度远非旧式水师可比。何况。朝野许多人都认为建立海军衙门这样一个中国传统“六部”所没有、只有“夷狄”才有的新机构，意味着“以夷变夏”！
1874年6月的中日琅峤战役，是中国近代海军组建以来对外第一仗，虽然取得了重大胜利，但也暴露出了中国海军力量的单薄，使清廷开始重视海军建设，在1875年2月，清廷发布上谕，承认虽然与曾建立造船厂、建有海军，但“造船不坚、制器不备、选将不精、筹费不广”是导致日本胆敢悍然入侵的主要原因。表示“当此事定之时，惩前毖后，自以大治水师为主”，而海军衙门便是在这样的背景下成立的。
海军衙门的设立可以说适应了洋务运动发展的需要，当时中国已初步具备建立海军的条件。清王朝自19世纪60年代以来广泛设厂制械、造枪造炮、制造船舰，逐步改变着中**队陈旧落后的武器装备。这不仅使陆军由千年一贯的大刀长矛向近代先进的新式枪炮迅速转化，创建海军的条件也日趋成熟。海军衙门成立前，福州船政局、江南制造局等中国企业自制的大小船舰已达20余艘，均配备新式枪炮、分拨南北洋，为使旧式水师向新式海军转化创造了条件。同时，民用工业的迅速发展，如煤、铁资源的发掘，交通运输、电报通讯的相继创办，也无一不适应着这种转化。为加速海军成军，清政府开始筹措巨款向外国定造船舰，并积极谋求和外国合作，吸收外国先进技术，自制军舰。当时许多西方报刊敏锐地察觉到这一动向，预言：“由此观之，不数年间，中国陆路之兵，将舍弧矢之戏，而专恃洋枪之威，水师之船，将舍风蓬之笨，而独取火轮之速矣”。
尽管背景颇为复杂，海军衙门的设立仍是中国近代史上的重大事件。它标志着清王朝自鸦片战争屡遭列强打击之后，终于将加强海防、创建海军做为头等大事。醇亲王奕擐虽然才识有限，但为光绪皇帝的未来和清王朝的巩固，还是将创建海军、加强海防做为尽忠报国的毕生事业。他受命之后，敢于抛弃陈腐观念，密切注视国际风云，虚心向洋务派请教，并以其特殊地位争取慈禧的同情与支持，为推进以海军建设为中心的近代化事业创造了有利环境。而在富有远见卓识的恭亲王奕忻的大力配合支持下，海军衙门遂成为指导洋务运动的中心。
《郭嵩焘日记》：
“初九日，寅初入东华门，至九卿朝房小坐。苏拉杨姓，旋引至内务府朝房，迎谒军机，恭邸、宝、沈两中堂及李兰荪尚书，仍回至九卿朝房。须臾，传旨召见军机及嵩焘，六额驸景寿带见。入月华苑，至内朝房小坐。内侍传恭邸命，至军机坐处。佩衡相国让座，予谢不敢。恭邸言：‘南书房旧人，何谦为？’因询家世甚悉，并问意城弟名崑焘，现在何处？以精透洋务相推许，至于再四。语次顾问两中堂：‘此人洋务实是精透。’坐久，始返西屋。六额驸带至养心殿。予以宝座当在正殿，顾视不类。已而内侍掀东屋帘。请安毕，进跪至席旁，得睹圣容，庄严坐御榻上，两房及坐前以小案护之，覆以青布。座后垂帘，六额驸跪帘旁。
太后问：‘在外几年？’
答曰：‘四年。’
太后问：‘在广东几年？’
答曰：‘三年。’
太后问：‘途次可曾遇雪？’
答曰：‘在泰安遇雪。’
太后问：‘地方皆安静否？’
答曰：‘安静？’
太后问：‘在京城充当何项差使？’
答曰：‘南书房行走。’
太后问：‘可是告病回家？’
答曰：‘旨意来京另候差委，途次请病假。’
太后问：‘年若干？’
答曰：‘五十六岁。’
召见毕，退至外朝房。英香岩中堂旋至，相与寒暄数句。复合肥伯相一信。”
“十一日，谒文博川中堂，延至内室，谈至两时之久。病体初愈，形容憔悴，忠心耿耿，实心敬之。沈经笙中堂、李兰荪尚书始相见，并云文中堂极相引重。及见文中堂，察其意若甚关切者。此行由文中堂论荐无疑也。语次，并询粤东被谤之由，及左君所以相处，颇难于作答，略一申叙而已。僧邸及左君皆有盛名，于鄙人亦皆引重，而偏不能容，致使鄙心无以自解，岂非所谓天耶？”
“十五日，林鲲宇来，送一密函，匣上书‘遇事乃发’四字，不明其意，问之，鲲宇言至英伦时，有大事发生，当用得上，现下多说无益。怪而收之。与谈甚久，出使在际，鲲宇言英伦情事甚详，又出家书一封，嘱余至伦敦时，交于在英华商总会会长陈廷轩，盖陈氏乃其妻族也。鲲宇云陈氏在海外颇有声名，又曾捐资报效，得太后赏赐金牌，