北条军想要越过喦殿山城攻击甲斐其他地方也不是不可以，当然如果他们不怕被城中高山军断了后路的话，完全可以这样干，可是北条成纲又不是傻子，怎么能拿家中精锐开这样的玩笑，所以其在得知高山军主力在喦殿山城之后，立刻率领麾下两万五千军势直扑而来。
对于麾下五色备他还是有十足信心的，当年与武田家赤备一战，打的对方毫无还手之力，而且还是在武田信玄亲自指挥之下获得这样的战果。虽然本家还未曾与高山军交过手，但就算其再怎么精锐，最多也就是赤备那样的水平，所以对于战胜高山军，他还是有信心的，尤其这一次高山氏宗并没有亲自坐镇，那么自己获胜的可能又会大大增加，他现在已经开始打算在击败高山军之后，怎么攻占甲斐了。
可是当他到达喦殿山城之后，就有些傻眼了，他千算万算，就是没有算到以野战闻名的高山军，竟然不打算与自己野战，而是笼城。如此一来自己在这一路上费尽心力指定的计划也就全部作废了。
但很快他便有了决定。高山军既然守城。那么自己凭借优势，从四面开始进攻，破城的机会还是很大的，虽然没有野战那么痛快，但也同样对方也很难玩出什么花样来，这样保险的获得胜利，倒也不错。
在作出决定之后，五色备立刻被他一分为五。其率麾下黄备充当本阵，而其他四备则一人负责一面，这样的安排刚刚合适，至于破城功劳，北条成纲也不打算去争了，要是跟主公出阵，那是一定要争一争的，可现在自己是主将，不管谁破城，功劳都少不了自己的。又何必因大事小。在简单休整一番之后，北条成纲立刻下令攻城。
“报。军师，诸位大人，敌人开向本城四面移动，每面共五千人，还请军师定夺。”
“知道了，诸位听令，立刻按照方案守城。”
由于都留郡并非富庶之地，所以这城池的规模虽然在此郡内首屈一指，可最多也只能算是中等规模，如此一来，每面根本排不开五千人同时进攻，所以这一次发起进攻的北条军只有四千，每面一千，而守城的高山军用于防守的也差不多是这个数量，不过他们这对防守一方绝对可以说是占了绝大优势了，尤其防守的军势皆为远攻，本来的优势也随之被放大。
所以还没等北条军靠近城池，射程最远的弓队便开始对敌人发起进攻，虽然每一面只有两百五十人，但还是给敌人造成了不小的伤亡。
五色备不愧为天下最精锐的军势之一，虽然在高山军弓弩的袭击下出现了伤亡，但却没有一人后退，而且为了减少损失，不但不后退，反而大大加强了了进攻速度。不过很快他们便发现，高山军的弓队只不过是开胃菜，当他们冲到城外三四十米之时，突然震耳欲聋的巨响掩盖了他们的叫喊声，硝烟遮挡住了他们的视线。高山军的铁炮开始发威了。
由于这一次用于守城的皆是远攻军势，根本不怕敌人转铁炮装弹时的空子，所以这一次细川藤孝并没有采取三段式射击，而是两段式，每次两百五十人，在他看来已经足够了。随着铁炮声响起，本来就不停出现伤亡的北条军，这一下伤亡更大了。虽然在铁炮开了火，不过却依然还没有人撤退，毕竟在他们的认知中能够用于远攻的也就是弓弩和铁炮了，只要冲破封锁，那么自己这边的胜算还是很大的，说不定只这一次进攻就可以将城池攻下，毕竟眼前这座城池并不算太大，里面军势绝不可能超过一万，所以在紧张一番之后，他们在武士的带领下又提高了速度，转眼间已经离城池只有短短的二十米左右，不过北条家的领军武士却在这一刻开始出现了大量的伤亡而这一切大多都是高山家的旗本武士造成的，他们可不管对方是谁，反正只要比五色备穿的好的，他们都会射上一箭，虽然在山城城墙上无形中拉远了了距离，命中率不是很高，但没射中没关系啊，再补上一箭就是了，两箭不中，那就继续。
顶着这样的压力，北条军竟然还在前进，并且已经到达城下，不少人已经攀上城垣，而且当他们到达城下时，突然发现，给自己造成大量伤亡的弓弩和铁炮竟然同时停止了。这让他们心中无比欣喜，再他们看来，高山家肯定和其他势力一样，见弓弩和铁炮不能阻止本家的攻势，所以再本家攻到城下之后立刻撤下远攻军势，改为长枪足轻进行守城，这对北条家来说根本算不上什么，如果说五色备拿远攻军势没办法的话，那么近战方面他们还真没怕过谁，不过他们很快就傻眼了，迎接他们的并非是想象中的长枪刀剑，而是铺天盖地的手里剑。
刚刚替换到城墙上进行防御的高山家忍军此刻正疯狂的向城外大把大把撒着手里箭，多则一次七八枚，少的也有两三枚，如此多的手里剑同时被甩出，顿时攀上城垣以及来到城下的北条家军势便被射成了刺猬。如果说刚才他们还有勇气一战的话，那么现在已经完全绝望了，无数的手里剑已经完全封锁住了他们的进攻之路，现在除了后退没有任何办法，所以还没等负责指挥的武士下令，北条家五色备足轻便纷纷掉头朝后方跑去。
见敌人已经暂时撤退，细川藤孝立刻名人出城打扫战场，收拢箭支，手里剑等杀人利器。
这一次双方交手的时间虽然不长，但却让北条军付出了近千伤亡，而高山一方却毫发无伤，可以说细川藤孝的计划算是成功了，只要不出什么意外，打退北条军也只是时间问题了。
至于北条成纲在见到对方守城的军势后，也知道，想要强攻夺城根本就不现实，所以立刻做出改变，想要用计破城，这个想法虽然是好的，不过在城中坐阵的细川藤孝怎么可能让他如意，所以几天下来，不但城没攻下，反而又折损了不少军势。
见城池久攻不下，不只北条城纲急，其他北条家武士也同样着急，所以纷纷提议一面派军势包围城池，一面对甲斐其他地区发起进攻，不过这个提议很快便被北条成纲否定了，如果留的人少了，说不定便会被城中敌军反杀，他现在可不怀疑高山家军势的能力，尤其是城中那数千神出鬼没的忍军，如果留的军势多了，那么甲斐国中那数千高山家骑兵以及其他军势也不是那么好对付的我，所以最终只能将现状报与主公知晓。
而当消息传回小田原城之后，北条氏政也陷入犹豫之中，对北条家来说甲斐的确很重要，但是如果用人命去填，尤其是本家精锐的话，那就有些得不偿失了，所以最终还是选择了撤退，毕竟只要本家精锐还在，那么一旦高山军入侵关东，自己完全可以选择一处更加适合的战场，倒时主动权便会掌握在自己手中，并且五色备长于防御，到时天时地利全在自己一边，高山军也只能无功而返，一旦两家开始比拼消耗，那这才是对本家最有利的。
虽然北条氏政最终还是选择撤回军势放弃甲斐，不过他也看出本家军势的不足，所以在做出决定之后，立刻开始扩充军势，并且除了补齐五色备的损失之外，另外也开始大力组建骑兵队与铁炮队，高山军多兵种搭配的作战方式已经让他感到了恐慌。
不提北条家撤军之后闷头发展军备，只说此刻在高山城的氏宗，却接到了岳父佐久间信盛的书信。
书信上的内容虽然简单，但是信息量却十分庞大，内容中写的很明白，主公在半月前召岳父以前往觐见，而让人意想不到的是，招他前去的目的竟然是主公有意将其领地与德川现有三国进行交换，当然主公对此并未强行交换，毕竟德川对于织田家的作用在自己攻陷甲斐之后，已经完全消失了。而佐久间用最快的速度完成了目标，如今正得信长欢心，所以织田信长多多少少还是有些在意佐久间的想法的。
看完书信之后，氏宗心中多少有些犹豫，从大局上来说，他并不希望岳父大人调换领地，毕竟岳父大人在丹波的话，可以起到牵制木下的作用，一旦与德川交换，那么自己这一方就没有人能够起到牵制作用了。