在国民党发动“四一二”、“七一五”反革命政变，破坏国共合作的反帝统一战线后，中国革命遭到严重破坏，陷入低潮时期。为贯彻“八七会议”确定的武装反抗国民党反动统治的总方针，和陈云分别在湖南和上海农村发动了农民起义，并开始对适合中国情况的革命道路进行了艰辛探索。
党的“八七会议”后，中央决定派回湖南领导秋收起义。回湖南后，经过调查研究，确定了五点暴动纲领：（1）省的党组织同国民党完全脱离关系；（2）组织工农革命军；（3）没收大地主以及中、小地主的土地财产；（4）在湖南建立独立于国民党的力量；（5）组织工农兵苏维埃。这些纲领的提出，表明已经根据形势的发展，抛弃了此前的一些不切实际的主张，放弃了继续打国民党旗帜的做法，纠正了只没收大地主土地而不动中小地主土地的错误认识。此外，在暴动范围上，改变了原先要在全省全面发动的主张，决定只集中于湘中地区；在起义所依靠的力量上，改变了原先只注意农民武装而不重视争取正规军的安排，决定大力加强争取正规军的工作。所有这些都充分显示出了的过人胆识和求实创新精神。
经过周密准备，1927年9月9日，湘赣边界秋收起义按预定计划爆发了。起义部队原准备向长沙进军，但在对形势做了深入分析后，认为起义军已无法按原定计划行动。一是起义部队在反动军队的进攻下，加上没有来得及进行教育整编，官兵的思想觉悟不高，目的性不明确，一遇到困难和挫折，开小差的特别多，人数很快由原来的5000人锐减到1500多人；二是长沙的敌人守备力量很大。所以，当机立断，决定在文家市召开部队师、团主要负责人参加的前敌委员会会议。经过激烈争论，会议决定将起义部队向南转到敌人力量薄弱的农村山区，寻找落脚点，以保存革命力量，再图发展。
但在部队南下转移途中，由于遇到国民党军队的尾追阻截，有的战死了，有的开小差，损失很大。一些长官受旧军队影响，随意打骂士兵，部队的战斗力不强。9月29日，当部队到达江西永新县的三湾村时，终于得以暂时摆脱敌军的尾追，当地又没有地主反动武装，起义军得到了自秋收起义以来的第一次从容休整的机会。决定召开前敌委员会扩大会议，讨论部队中存在的问题及解决办法。会议经过讨论，决定对部队实行整顿和改编，史称“三湾改编”。
三湾改编的主要内容是：第一，把所剩不到1000人的部队，缩编为一个团；第二，在部队内部实行民主制度，官兵平等，待遇一样，规定官长不准打骂士兵，连以上建立士兵委员会，参加对部队的行政管理和经济管理，官长要接受对它的监督。第三，全军由党的前敌委员会统一领导。班设党小组，支部建在连上，营团建立党委，连以上设党代表。部队的一切重大问题，都必须经党组织集体讨论决定。三湾改编，逐渐改变了旧式军队的习气和农民的自由散漫作风，成了建立新型人民军队的重要开端，在人民军队的发展史上有重大意义。
接着，得知地处湘赣边界罗霄山脉中段的的井冈山地区，面积约有4000平方公里。这里在大革命时期曾建立过党的组织和农民自卫军，群众基础较好；远离中心城市，国民党统治力量薄弱；地处山区，交通不便，进可攻，退可守；周围各县的农业生产条件较好，便于筹集给养。于是便率领起义部队向井冈山地区开进。
井冈山上原有袁文才、王佐领导的两支“绿林式”农民武装，长期坚持武装斗争，在当地人民中有一定影响。为了能在井冈山地区站稳脚跟，必须取得袁文才、王佐的支持。经过反复做工作，终于成功地说服、改组了袁文才、王佐的原有武装，使之成了中国领导的武装力量。
在领导工农革命军同反动军阀的作战过程中，逐渐认识到如果没有人民群众的支持，常常陷入被动地位，因此他适时地提出，革命军队应当担负起三大任务：打仗消灭敌人；打土豪筹款子；做群众工作。这就为新型人民军队的建设指出了明确的发展方向，也是人民军队同历史上所有旧军队的根本区别所在。
1928年1月间，又概括提出了人民军队建设的“三大纪律，六项注意”。“三大纪律”是：行动听指挥；打土豪款子要归公；不拿老百姓一个红薯。“六项注意”是：上门板；捆铺草；说话和气；买卖公平；借东西要还；损坏东西要赔。
“三大纪律，六项注意”的提出，妥善地处理了革命军队同人民群众的相互关系，是人民军队能够在人民群众的大力支持下，从小到大地发展起来并最终战胜敌人的重要力量源泉。
到1928年2月，领导的工农革命军由不足一个团迅速发展到一个师两个团，并且同当地农民运动紧密结合，摧毁了茶陵、遂川、宁冈三个县的旧政权，建立起新的工农革命政权及赤卫队和游击队等地方武装，土地改革也开始了试点，并取得了初步经验。一个初步巩固的农村革命根据地在井冈山建立起来，打开了实现工农武装割据的新局面。4月，朱德、陈毅等率领南昌起义部队到达井冈山地区，与领导的军队会合，成立了中国工农革命军第四军（6月，根据中央指示，工农革命军第四军改称工农红军第四军），朱德任军长，任党代表，陈毅任教导大队大队长。朱毛两部会师后，加上对地方武装的整编，军队人数有了明显的增加，由原先的1000多发展到6000多，战斗力也明显增强，根据地面积很快发展到7200多平方公里，人口有50多万，进入了边界的“全盛时期”。和朱德在总结作战经验的基础上，概括出了“敌进我退，敌驻我扰，敌疲我打，敌退我追”的游击战十六字诀。
实践出真知。井冈山革命根据地的成功开辟，为革命根据地理论的形成与发展提供了重要的实践依据。1928年10、11月，先后写出了《中国的红色政权为什么能够存在？》和《井冈山的斗争》两篇重要文章，对一年多来实行工农武装割据过程中的经验教训进行了初步总结和理论概括。
指出，井冈山地区的“工农武装割据”是中国领导下的武装斗争、土地革命和根据地建设的密切结合：武装斗争是中国革命的主要形式，根据地是主要依托，土地革命是主要内容，三者相辅相成，密切联系，共同构成一个有机整体。没有革命的武装斗争，就不能进行有效的土地革命和发展革命根据地；没有土地革命，红军战争就得不到群众的支持，革命根据地也就不能巩固和发展；不建设革命根据地，武装斗争就没有后方的依托，土地革命成果也就无法保持。
井冈山地区地狭民贫，红军人数的骤增，给筹集给养带来了困难；反动军队的多次进剿，更加重了根据地人民的困难程度。为了扩大红色区域和红军的影响，粉碎敌人的联合会剿，红四军决定彭德怀率部留守井冈山，、朱德率红四军主力向赣南、闽西出击。
1928年11月，红四军成立前敌委员会，为前委书记。12月，彭德怀、滕代远率领在平江起义中创建的红五军主力来到井冈山地区，同朱毛红军实现会师，进一步加强了井冈山的武装斗争力量，井冈山根据地成了全国各根据地中人数最多、战斗力最强的一支红色武装。
1929年3月，朱毛红军攻克福建西部地区的长汀县城。正在这时，国民党统治营垒内部发生重大分歧，蒋桂战争一触即发。而井冈山革命根据地在国民党反动军队的军事进攻下，已告失守。于是，、朱德经过对形势的深刻分析，决定在赣南闽西20多个县的范围内开展游击战争，实行武装割据。不久，蒋桂战争正式爆发，朱毛红军利用这一有利形势，很快在赣南地区造成了工农武装割据的局面。
这时，红四军内部围绕新型人民军队的建设问题在主要领导人之间出现了较大分歧。一些人认为，四军中的前委权力太大，主张设立军委以分散其过度集中的权力；另一些人则认为，由于战斗频繁和部队经常转移，军队指挥需要集中，没有必要再在前委之下另设军委。由于争论涉及到两位主要领导人和朱德，前委决定召开红四军第七次代表大会讨论解决问题。大会所做的决议虽然对许多具体问题的结论是正确的或比较正确的，但却错误地否定了提出的党对红军领导必须实行民主集中制和反对流寇思想的正确意见，认为的领导存在家长制倾向，决定给予以党内“严重警告”的处分，并将其由中央指定的前委书记一职改选掉了。会后，离开红四军到蛟洋养病。
红四军七大后，由于受极端民主化思想的影响，无论大事小事，都要拿到会上去讨论，并且往往是议而不决，严重地影响了军事活动的效率。不久，陈毅赴中央汇报红四军内部的争论情况，红四军召开八大试图扭转这种局面，但没有成功。
中央听取了陈毅的汇报后，明确指出在政治上是“比较正确的”，并决定由陈毅执笔代表中央给红四军起草了着名的“九月来信”。“来信”肯定了提出的“工农武装割据”和红军建设的基本原则，要求红四军要维护朱德和的团结，“应仍为前委书记”。从而为不久后在的主持下召开红四军党的第九次代表大会，成功解决党内分歧，纠正各种不正确思想提供了重要条件。
1929年12月底，在中国人民军队发展史上具有重要历史意义的红四军党的第九次代表大会在福建上杭县古田村召开。由于会前主要领导人已形成共识，会议经过热烈讨论，一致通过了起草的八个重要文件，总称《中国红军第四军第九次代表大会决议案》，通常称为“古田会议决议案”，重新当选为红四军前委书记。
古田会议决议，总结了红四军成立以来在部队建设上的基本经验，确立了中国人民军队建设的基本原则。关于红军的性质、宗旨和任务。决议指出，红军是执行革命政治任务的武装集团，必须坚决贯彻中国的纲领、路线、方针和政策，完全服务于人民革命战争、根据地建设和土地革命，必须同时负担打仗、做群众工作和筹款三大任务。这是它区别于其他一切旧军队的根本标志之一，因此，必须反对单纯军事观点和不重视根据地的流寇思想。
关于党对红军实行绝对领导的原则。决议指出，红军中必须健全各级党的组织，实行政治委员制度，反对以任何借口来削弱党对红军的领导；要反对极端民主化和非组织的观点以及个人主义的的错误倾向，党的决议一经通过，要通过群众路线去执行，少数人在自己的意见被否决之后，必须拥护多数人所通过的决议；党内要正确开展批评和自我批评，党员干部要接受党组织的监督。
关于红军中的政治机关和政治工作的地位。决议规定，在地方政权没有建立之前，红军的政治机关和军事机关在前委领导下平行执行各自担负的工作：政治训练及群众工作等，军事系统应接受政治系统的指挥；作战、宿营、给养等，政治系统应接受军事系统的指挥。决议批评了将政治机关隶属于军事机关的错误观点。
关于红军内部的思想政治教育。决议从红四军的组成及处在农村分散游击环境的实际出发，指出对红军不断进行马克思主义和党的正确路线教育，是克服各种非无产阶级思想，提高军队政治素质，完成无产阶级政治任务的中心环节。
关于处理红军内外关系的原则。决议指出，在红军内部，坚持官兵平等，实行民主主义制度；在军政关系上，军队要尊重人民政权机关，巩固它在群众中的威信；在军民关系上，军队要严格执行“三大纪律”和“六项注意”，同人民群众打成一片；在对敌军工作上，要求在坚决消灭一切敢于顽抗的敌人的同时，实行瓦解敌军和宽待俘虏的政策。
古田会议决议是中国和红军建设的纲领性文献。它系统地解决了以农民为主要成分的军队如何建设成无产阶级领导的新型人民军队这个根本问题。这一决议后来在其他根据地也相继实行了，大大加快了建设新型人民军队的进程。
古田会议后，积极着手在具体工作中贯彻古田会议决议，并花了很大力气进行了大规模的社会调查。在对社会情况进行深入调查的基础上，他于1930年5月发表了《调查工作》（公开发表时改为《反对本本主义》）一文，响亮地提出了“没有调查就没有发言权”的着名论断。文章严肃地指出，在学习马克思主义的“本本”的时候，一定要同“我国的实际情况相结合”，“中国革命斗争的胜利要靠中国同志了解中国情况”，“的正确而不动摇的斗争策略，决不是少数人坐在房子里能够产生的，它是需要在群众的斗争过程中才能产生的，这就是说要在实际经验中才能产生。”一个多月后，他在起草的一个通知中又提出：“我们的口号是：一，不做调查没有发言权。二，不做正确的调查同样没有发言权。”这样就把前一个口号说得更完全、正确了。
1930年6月，中央决定将红四军、红六军、红十二军（由红四军第三纵队和赣南地方武装合编而成）整编为红军第一路军，不久改称红军第一军团，由朱德任总指挥，任政治委员，兼第一路军总前敌委员会书记。8月，红一军团又与红三军团合编为中国工农红军第一方面军，总兵力达3万人，朱德任总司令，任总政治委员兼总前敌委员会书记，同时成立中国革命委员会，统一指挥红军和地方政权的工作，任主席。
从1930年10月底到1931年10月初，在不到一年的时间里，、朱德等指挥红一方面军，采用诱敌深入，避敌主力，打其虚弱，集中优势兵力在运动战中歼灭敌人的作战方针，相继打破敌人发动的三次反革命围剿，使长期被分割的赣南闽西两块根据地连成了一块，形成了以瑞金为中心的巩固的中央革命根据地，下辖28个县，拥有瑞金、兴国、于都、长汀、上杭等15座县城，总面积5万多平方公里，人口达259多万。
通过大力开展武装斗争、土地改革和革命根据地建设，关于中国革命道路理论的基本观点已经形成，从而也就把“八七”会议确定的实行土地革命和武装反抗国民党反动派的总方针具体化了。从红军的建军原则和作战原则，土地改革的政策，根据地建设的方针，到实事求是、群众路线、独立自主的思想路线，都已提出了明确而又系统的、切合中国实际的主张，从而开辟了“农村包围城市，武装夺取政权”这条独特的中国革命道路。
1937年5月，在着名的《实践论》等哲学论文中，更是将上述认识上升到哲学高度加以论述，表明了以为代表的中国人把马克思主义普遍真理同中国革命实践相结合后所实现的第一次飞跃而出现的产物——思想已经产生。
当在湘赣边界、赣南闽西从事武装反抗国民党反动统治、积极探索中国特色革命道路，并取得重要理论成果的同时，陈云也在家乡青浦一带从事反抗国民党反动统治的武装斗争。
“四一二”反革命政变后，陈云已无法继续在商务印书馆从事革命活动，受党组织的指派，陈云返回家乡从事武装起义的准备工作。在同商务印书馆的同事告别时，他说：“我此去一不做官，二不要钱，三不妥协，只为了要跟反动派坚决斗争到底，求工人阶级的彻底解放。”针对搞革命所可能遇到的危险，他乐观地写了一首打油诗：“铁窗风味，家常便饭。杀头枪毙，告老还乡。”表示了不怕牺牲、献身革命的坚定决心。
陈云是在1927年10月初返回青浦的。当时的青浦，笼罩在一片白色恐怖之中。党组织遭破坏，不少党员被迫向外地转移；农会组织也停止了活动，骨干分子有的远走他乡，有的倒向了国民党一边。大革命时期被赶跑了的大地主，纷纷卷土重来，农民群众又陷入了苦难和悲惨的境地。
陈云返回家乡后，决定从传达党的“八七会议”精神，重新建立党的组织，恢复和发展农会工作入手，逐步推动其他工作的开展，为发动武装起义做准备。他联系上了出狱后仍在青浦地区开展地下斗争的黄渡特别支部书记夏采曦，召开了东乡党员会议。在会上，陈云传达了党的“八七会议”精神和江苏省委的指示，分析了发动青浦秋收起义的有利条件和行动策略。陈云认为，青浦地处苏州、嘉兴、上海三角地带的中心，位置十分重要。青浦东乡与岗山、嘉定相接，东乡农民的抗租斗争如能和嘉定外岗地区农民的“五抗”斗争联合起来，则可切断沪宁铁路，支援苏州、无锡地区的农民暴动；青浦西乡的小蒸，紧靠沪杭铁路一侧，是松江、金山、青浦三县交界处，如能和松江、金山农民斗争连成一片，就可切断沪杭铁路，支援浙江及浦东地区的秋收暴动，并可以配合上海的工人运动。
会议经过讨论，大家对陈云的分析表示赞同，决定从东乡的观音堂和西乡的小蒸入手，发动农民开展抗租斗争，进而组织农民进行暴动。
会后，陈云来到小蒸，同当地的员一起，为发动秋收暴动做准备工作。他们白天和农民一起劳动，晚上进行积极串联，向农民宣传抗租的意义和翻身闹革命的道理。一开始，他讲些大城市的见闻，讲一些历史故事。陈云将小时候听说书先生讲评弹故事的技巧用到了向农民宣讲革命道理的工作上来。由于他讲得绘声绘色，乡亲们听得津津有味，参加的人越来越多。然后，陈云再讲农民的切身利益问题，讲地主剥削、官府压迫，启发农民的觉悟。接着又讲道：地主怎样剥削农民，有多少种方式；究竟是农民养活了地主，还是地主养活了农民；农民为什么会世代受苦。他说：农民贫困的根源是没有土地，被迫租地和借高利贷。农民只有组织起来，同地主豪绅斗，打倒地主豪绅，实行耕地农有，进行抗租抗息斗争，才能有饭吃，有衣穿，挖掉穷根。陈云还经常利用农民上街赶集、到庙会祭神的机会，向农民发表演说，集中宣讲革命道理。
在农民觉悟逐渐提高的基础上，陈云着手恢复了农会组织，并发展其中的积极分子加入党组织，领导农民抗租抗税。1927年11月，江苏省委任命陈云担任青浦县委书记，下辖小蒸、枫泾、观音堂三个区委，统一领导青浦县的农民运动。
农民抗租抗税斗争的不断高涨，使得地主无法收到租税。他们便请求官府出面，用武力迫使农民交租。为了巩固农民已经取得的抗租成果，陈云决定组建农民武装，发动农民进行暴动。
他带领农民军处决了7个罪大恶极的地主豪绅，但对团防局（地主武装）却采取了缴枪不杀的政策，既避免了硬拼带来的损失，又有利于对地主豪绅进行分化瓦解，并在打击地主豪绅气焰的同时，削弱了地主的力量，农民武装也得到了壮大。在小蒸抗租斗争结束后，陈云又转到江浙交界的枫泾一带领导农民暴动。搞农民暴动随时都有可能付出牺牲，陈云却以高度的革命乐观主义精神勉励同志们说：吃官司是到外婆家走亲戚，枪毙是告老还家，有何可怕呢？
1928年夏，陈云组建了松浦特委，领导了奉贤县的农民暴动。1929年，他担任江苏省委沪宁巡视员，两次到苏州、无锡、镇江、南京等地巡视，并亲自领导了天宁寺的抗租斗争。不久，陈云进入江苏省委工作，先后任省农委委员、农委书记、江南省委常委兼组织部部长等职。在领导农民暴动和发动工人运动中所表现出来的杰出组织才能、坚定沉着的意志品格、不怕牺牲的非凡胆略，再加上工人出身的有利背景，陈云在1930年9月召开的党的六届三中全会上，被选为中央候补委员，开始进入中央领导层。1931年1月，在党的六届四中全会上，陈云又当选为中央正式委员。