进入49年8月之后，国民党失去了美国人的援助，内忧外患日益严重，蒋介石本人自是焦虑不堪。此时，人民解放军第二、第三、第四野战军在长江以南已分别前出赣南，逼近福州，挺进湘中，直接威胁广东、广西和四川。在华北，绥远省(今属内蒙古自治区)和平解放亦已成定局。
国民党**撤逃台湾、广州、重庆等地，幻想保住西南4省，重整军备，伺机卷土重来，急需胡、马各部在西北地区作战略配合。
8月中旬，国民党**行政院长阎锡山在广州召开由西安绥靖公署主任胡宗南、西北军政长官公署长官马步芳、副长官马鸿逵等人参加的“西北联防会议”，拟制了“兰州决战”计划，企图以马步芳4个军及新成立的骑兵军共9万余人依托兰州坚固城防和黄河天险，吸引、消耗第一野战军主力，以集结在中卫、中宁地区的马鸿逵部主力伺机转向兰州，以胡宗南部主力由秦岭出陇南，三路夹击，挫败第一野战军于兰州外围。
兰州是西北第2大城市，为国民党西北军政长官公署所在地。该城北临黄河，南靠群山，地势险要，易守难攻;南山环抱城垣，并有多年修筑的永备工事，通向城内的环山公路与各主要阵地相连接，构成了完备的防御体系，国民党守军称该城为“不可攻破的铁城”。
马步芳鉴于兰州决战的胜负是其存亡的关键，遂以秦陇兵团第82、第129军和2个骑兵师、3个保安团等约5万人重点据守南山各要点和城区;以第91、第120军和马鸿逵部第81军共3万余人控制兰州东北的景泰、靖远和打拉池地区，保障兰州左翼安全;以新组成的骑兵军约2万人控制兰州以南的临洮、洮沙(今太石)地区，保障兰州右翼安全。兰州地区作战由秦陇兵团司令官马继援统一指挥。
第一野战军司令员兼政治委员彭德怀根据中国共产党中央军事委员会关于向全国进军的战略部署和对兰州作战的指示，发出攻取兰州、西宁的作战命令，决心以一部兵力牵制胡宗南、马鸿逵两部，集中优势兵力歼灭马步芳部主力于兰州地区。
其部署是:以第18兵团(欠第62军)及第7军留置宝鸡、天水地区，继续牵制胡宗南部，保障野战军主力左翼及后方安全;以第19兵团第64军进至固原、海原地区，牵制马鸿逵部，保障野战军主力右翼安全;以第1兵团(欠第7军)附第62军经陇西、临洮、临夏、循化，尔后北渡黄河攻取青海省省会西宁，截断兰州守军退路，并随时准备参加兰州地区作战;以第2、第19兵团(欠第64军)共5个军近15万人沿西安至兰州公路分南北两路两进.直取兰州。
兰州位于四周环山的狭长的盆地上，黄河自西向东贯穿，兰州地处南岸，城西有一座上一世纪造的铁桥联系南北两岸，北岸通向青海和河西走廊。此桥是当时数千里黄河两座桥梁之一(上游甘青交界处还有一座木桥，只能过行人骡马车辆)，故军事价值很大。
若控制兰州，兰州的南山是必守的阵地。南山自东向西依次为十里山，窦家山，马架山，营盘岭(皋兰山南梁)，沈家岭，狗娃山。其中沈家岭离铁桥，又与狗娃山一起扼守着两条南去的公路，被认为是“兰州锁钥”。
鉴于解放军对兰州敌军只是三面包围，北面退路黄河铁桥仍然在敌人控制之下，不能排除敌人在大军压境下突然逃跑的可能性。第一野战军参战部队全部到达兰州外围后，为了防止“青马”西逃，提前发起兰州战役，彭德怀下令部队于21日拂晓投入攻击战斗。
这次首攻守军的第一野战军部队有六十三军、六十五军、六军、四军共9个团的兵力，攻击方向分别为被称为"兰州锁钥"的马家山、营盘岭和沈家岭三大主要阵地。
但是，经过两天激烈的战斗，没有攻下一个阵地，解放军却遭受了重大伤亡，其中仅六十五军就伤亡近800人。彭德怀当机立断，命令部队停止攻击，要求所有指战员认真总结经验教训，分析防御特点，侦察敌情与地形情况，重新调整我军战斗部署与火力配备，有针对性地改变战术。
同时，彭德怀以第一野战军司令部的名义发出《关于进攻兰州的战术指示》，强调指出:“‘青马’匪军为今日敌军中最有战斗力的部队，在全国也是有数的顽敌，我们对他须有足够的估计，并作充分的精神准备，力戒轻敌骄傲性急。”
在六军召开作战会议总结进攻受挫的原因时，彭德怀给六军军长罗元发打来电话，进行安慰，并作了自我检查。他说:“四军攻狗娃山，六十五军攻马家山也未得手。看来野司发起总攻的时间是仓促了些，使你们的准备工作受到一些限制。”
接着，彭德怀在电话中简略地讲了西北的战局:退守川陕边界的胡宗南给兰州守敌发来一个电报，为马家父子打气，要他们坚守兰州。胡宗南准备趁我主力攻击兰州后方兵力单薄的机会，与宁夏的马鸿逵、马步青相配合，袭击宝鸡和天水，威胁我军后背，得手后，再由东向西，与坚守兰州的马家军里应外合消灭我军于兰州城下。
根据情报来看，胡宗南已经带领残兵败将从秦岭方向向我宝鸡、天水、西和以及礼县等地进犯，遭到我十八兵团六十一军和七军的坚决打击。彭德怀要求六军好好休息，准备3天，争取一举拿下营盘岭。
中央军委、毛**来电指示:“马步芳既决心守兰州，有利于我军歼灭该军。为歼灭该敌起见，似须集中3个兵团全力于攻兰战役”
“王震兵团从上游渡河后，似宜迂回于兰州后方，即切断兰州通青海及通新疆的道路，务不使马步芳退至新疆为害无穷”
“攻击前似须有一周或更多时间使部队恢复体力，详细侦察敌情、地形和鼓舞士气，作充分战斗准备”
“并须准备一次打不开而用二次、三次攻击，去歼灭马敌和攻占兰州。”
随后，彭德怀来到了十九兵团六十三军前沿阵地视察，召开了师以上干部会议，传达中央军委和毛**的指示，同他们一起研究了下一步作战任务。
他说:“兰州战役关系到解放大西北的全局，一定要把它打开”。
“十九兵团六十三军的担子很重，一定要拿下窦家山。”
并点名让该军第一八九师第五六六团担任主攻。