事实上，早在1920年8月陈独秀在上海成立发起组时，就将长沙和北京、汉口、广州等一起列在了自己的建党计划中。11月，陈独秀正式写信给，委托他在长沙建立党的组织。经过慎重准备，等改组新民学会，正式成立了长沙小组。在此前后，北京、武汉、广州等地的小组也相继成立。
各地小组的成立，为统一的全国组织的建立准备了成熟的条件。1921年6月底，和何叔衡作为长沙小组的代表，应邀赴上海出席党的一大，正式创建中国。在会上担任记录工作。
会后，返回长沙，一面积极着手建立党在湖南的基层组织，一面发动工人运动。到1922年5月，湖南（包括江西萍乡安源）已有党员30人，并建立了衡阳和安源等党支部。还积极着手在湖南建立了社会主义青年团组织。
在工人运动方面，于1921年10月在长沙成立了中国劳动组合书记部湖南分部，作为领导湖南工人运动的组织机构。此时，在湖南工人中规模和影响较大的组织是成立于1920年11月的湖南劳工会，创始人为黄爱和庞人铨。但该组织受无政府主义的影响，只重视经济斗争。认为，应当积极争取湖南劳工会，提高它的政治觉悟和斗争水平。经过努力，黄爱和庞人铨表示同意接受改组，并请协助主持会务。对湖南劳工会的成功争取，很快就掀起了湖南工人运动的第一个。1921年底，长沙一万多工人发动了罢工斗争。在成功改组湖南劳工会后，又先后领导组建了粤汉铁路工人俱乐部和安源路矿工人俱乐部，并组建了长沙泥木工会、人力车工会、笔业工会、理发工会、缝纫工会、铅印活版工会等组织，并先后领导发动了安源路矿、粤汉铁路、水口山铅锌矿和长沙泥木工人等一系列罢工斗争。
为了领导安源路矿工人的罢工斗争，他不仅委派李立三和到安源进行组织发动工作，而且亲自多次来到安源进行现场指导。经过周密的准备，安源路矿工人大罢工于1922年9月正式发动，经过5天的激烈斗争，罢工斗争取得胜利。
在湖南领导的一系列工人罢工斗争，引起了中央主要领导人的重视。1923年6月，陈独秀在三大上总结二大以来党的工作时说：就地区来说，我们可以说，上海的同志为党做的工作太少了。北京的同志由于不了解党组织，造成了很多困难。湖北的同志没有及时防止冲突，因而工人的力量未得增加。只有湖南的同志可以说工作做得很好。
在这次代表大会上，由于出色地组织领导了湖南地区的工人运动，不仅被选为中央局正式委员，担任中央局秘书，而且被调到中央工作，进入了中国的领导核心。
三大后，中国决定同国民党实行党内合作，完全赞成这一决定。1924年1月，旨在实现国共合作的中国国民党第一次全国代表大会在广州召开。被孙中山提名为国民党中央候补执行委员。国民党一大后，被派往国民党上海执行部工作。上海执行部是国民党除广东根据地以外的最重要的机构，统管江苏、浙江、安徽、江西、上海等地的党务工作。国民党元老胡汉民、汪精卫、于右任等分任各部部长。人沈泽民、瞿秋白、邓中夏、恽代英、向警予、罗章龙等也在各部负责实际工作，任上海执行部组织部秘书兼代秘书处文书科主任。当时社会上称国民党上海执行部为“国共群英会”。不久，赴广州就任国民党中央代理宣传部部长。为了克服以往国民党不重视宣传工作的缺点，他大力充实宣传部的人员配置，先后将萧楚女、沈雁冰等人调进宣传部。宣传部一时人才济济，有“人才内阁”之称。
为了维护国共合作局面，始终坚持与国民党右派分裂势力进行坚决斗争。这种斗争在孙中山先生去世后，显得更为频繁与艰巨。当时党内以陈独秀为代表的一些人执行共产国际的错误指示，主张通过不断退让来维持国共统一战线的存在，面对国民党右派的不断进攻，采取妥协退让政策。这进一步助长了国民党右派分裂活动的迅速加剧，结果付出了极为沉重的代价：国民党先后发动了“四一二”和“七一五”反革命政变，其他地方军阀也相继发动事变，轰轰烈烈的第一次大革命失败了，人和进步革命群众遭到了残酷的镇压，中国革命陷入了低潮。
三大后，在工作上的一个重要变化，就是逐步把主要精力放到了组织领导农民运动上来了。不过，并不是一开始就认识到了农民运动的重要性的，毋宁说他起初对农民运动尚不够重视。比如，中国早期重要领导人恽代英于1923年初写信给，说我们也可以学习陶行知到乡村里去搞一搞。当时曾认为，现在城市工作还忙不过来，怎么顾得上农村呢？
在三大上，曾提出过一个关于农民问题的决议案。他指出，湖南工人数量很少，国民党员和员更少，可是满山遍野都是农民。因此，他认为，任何革命，农民问题都是最重要的。中国历代的造反和革命，每次都是以农民暴动为主力。中国国民党在广东有基础，无非是有些农民组成的军队，如果也注重农民运动，把农民发动起来，也不难形成像广东这类的局面。
1924年12月，回湖南一边养病，一边在当地领导农民运动。他在韶山秘密组织农民协会，发展骨干分子加入党组织，随后又成立了韶山支部。当时，韶山地区遭遇大旱，可是当地的土豪劣绅却将米谷偷偷运往外地以牟取暴利。决定召集韶山支部和农协骨干分子，发动农民起来斗争，迫使地主开仓平粜。经过斗争，地主被迫开仓平粜。
1926年1月，在国民党二大上，被指定参加修改《农民运动决议案》。《决议案》指出：“中国之国民革命，质言之即为农民革命。为要巩固国民革命之基础，亦惟有首在解放农民。”二大后，就任国民党中央农民部主办的农民运动讲习所所长。农讲所的目的是“养成农民运动人材，使之担负各处地方实际的农民运动工作”。在被迫辞去国民党中央宣传部代理部长后，将全部精力投入到了农民运动讲习所的工作中来。他亲自主讲“中国农民问题”、“农村教育”、“地理”三门课程。他在讲课时指出：“国民革命的目标，是要解决工农商学兵的各阶级问题；设不能解决农民问题，则各阶级问题也无由解决。”“可以说中国国民革命是农民革命。”
1926年，开始编印一套《农民问题丛刊》，供全国各地从事农民运动的人参考。9月1日，第一辑正式出版。在为第一辑出版时所写的序言《国民革命与农民运动》一文中，明确指出：“农民问题乃国民革命的中心问题，农民不起来参加并拥护国民革命，国民革命不会成功；农民运动不赶速地做起来，农民问题不会解决；农民问题不在现在的革命运动中得到相当的解决，农民不会拥护这个革命。”“所谓国民革命运动，其大部分即是农民运动。”
1926年10月，就任中央农民运动委员会书记。主持中央农委工作后，首先是制定并落实《目前农运计划》，力图对全国的农民运动作出通盘的部署。其次是通过实地调查研究，于1927年3月发表了《湖南农民运动考察报告》一文，严厉批驳了党内外关于农民运动“过火”、“幼稚”、“动摇北伐军心”、“妨碍统一战线”，是“惰农运动”、“痞子运动”、“糟得很”等的错误论调，热情支持各地农民运动的开展。
1927年5月27日和6月12日，共产国际执委会机关刊物《共产国际》先后用俄文和英文发表了《湖南农民运动考察报告》。这是第一篇被介绍到国外的文章。英文版的编者按说：“在迄今为止的介绍中国农村状况的英文版刊物中，这篇报道最为清晰。”当时任共产国际执委会主席团委员的布哈林在执委会第八次扩大全会上也说：“我想有些同志大概已经读过我们的一位鼓动员记述在湖南省内旅行的报告了。”这篇报告“文字精练，耐人寻味”。
的这一看法显然超过了党内其他领导人的认识。因为就在此前的7月份召开的一次中央执行委员会扩大会议上，还规定农民协会“尚不能带有阶级色彩”，农民的武装“不能超出自卫的范围”等。
这篇2万多字的文章后来被编成小册子公开出版。瞿秋白在为该书所写的序言中说：“中国的革命者个个都应该读一读这本书。”瞿还称是“农民运动的王”。
其后，继续站在农民运动的前面对它进行指导。随着北伐战争的顺利发展，主持的农民运动讲习所也随国民政府一起迁到了武昌。提议农讲所应直接归国民党中央办理，并扩大招生规模和范围。这一提议获得了国民党中央的同意。武昌中央农讲所的《规约》中赫然写明：“为将来发展农民武装起见，所以要受严格的军事训练”，“不接受这种严格的军事训练，便是对革命没有诚意。”每个学员还发了一支汉阳制造的七九式步枪，每天训练2小时。“四一二”事变后，增加到每天4小时。每周野外军事演习一次。的这一做法在党内是颇具独创性的。这些受过训练的学员，日后有不少成为各地农民武装起义的骨干分子。
在国民党二届三中全会上，又和邓演达等一起向全会提交了《土地问题案》（后改为《农民问题案》）、《对农民宣言案》。全会通过的《对农民的宣言》明确表示，革命需要一个农村的大变动，“使农村政权从土豪劣绅不法地主及一切反革命派手中，转移到农民的手中”；“农民应有自卫的武装组织”；“中国的农民问题，其内容即是一个贫农问题”；“贫农问题的中心问题，就是一个土地问题”。强调，解决土地问题就是要废除封建制，使农民得到解决。在当前来说，“要增加生力军保护革命，非解决土地问题不可”。它的直接作用，是能够解决财政问题及兵士问题。“因农民要保护他们的土地，必勇敢作战。”
对农民问题、土地问题和武装问题的重视，为开辟中国革命新路，作了一个极为重要的探索。
同一样，陈云也是在先从事工人运动后，再逐步认识到发动农民运动的重要性的。
陈云曾回忆说：商务印书馆是他在那里“进行过阶级斗争的地方”。的确，陈云在进入商务印书馆后不久，就积极投身到了领导工人运动的斗争中去。
1925年5月15日，上海内外棉七厂日本大班枪杀工人党员顾正红，引起群众的极大愤怒。中央决定发动举行罢工斗争，抗议日本帝国主义镇压、迫害中国工人的血腥罪行。5月30日，上海工人和学生举行街头演讲和示威游行，遭到英租界巡捕的枪击，发生了震惊中外的“五卅惨案”。英帝国主义的暴行，激起了中国人民更为强烈的义愤。一场更大规模的反帝浪潮爆发了。
陈云和商务印书馆的进步青年积极参加了这场反帝爱国运动。陈云除了积极参加游行示威活动外，还主动参加了上街义务叫卖《公理日报》的活动。《公理日报》是由商务印书馆的编辑郑振铎、叶圣陶、胡愈之等邀请少年中国学会、醒狮周报社、学术研究会、上海通讯图书馆、孤军杂志社、太平洋杂志社、妇女问题研究会、中华学艺社、中国科学社上海分社、中华农学会、文学研究会、上海世界语学会等12个团体的代表组成的上海学术团体对外联合会创办的一份报纸，目的是如实报道帝国主义镇压上海工人运动的罪行。
每天天刚亮，陈云都会准时出现在上海的街头，义务叫卖《公理日报》。由于报纸敢说其他报纸不敢说的话，客观报道事件真相，在市民中影响日益增大，加上义务售卖工作搞得好，很快就使发行量猛增到2万多份。
为了支持工人和学生的爱国运动，陈云还积极参加馆里搞的募捐活动。在陈云等人的努力下，商务印书馆先后捐出了1000元给上海总工会，5000元给上海临时济安会，转给了罢工工人和学生。陈云等还上街举行了募捐活动。
由于陈云的出色工作，1925年6、7月间，他被吸收为商务印书馆的临时党团成员，负责发动和领导商务馆的工人罢工斗争。那时的商务印书馆，用工制度不健全，馆里经常录用工资低、精力足的年轻工人，而对年纪大的工人则经常辞退，致使其生活无着。
为了维护工人的合法利益，陈云决定发动商务印书馆的工人进行罢工。他把罢工的时机选择在新学期到来前夕、正是以经营学生用品为主要获利来源的商务馆效益最好的时刻。他经过反复思考和深入分析，认为选择这一时期，罢工斗争容易获得成功。针对一些工人害怕罢工失败、丢掉饭碗的顾虑，陈云分析道：五卅惨案发生后，全国的民族主义革命思想普遍高涨，这为罢工获得社会同情和支持提供了有利条件；新学期即将来临，正是资本家赚取的大好时机，这个时期罢工，老板必然要考虑到防止生意被同行抢走，因此，只要工人们团结一致，坚持斗争，取得罢工胜利的可能性是很大的。
事实正是这样。经过深入、细致的动员和准备，商务印书馆临时党团决定成立了以陈云为委员长的临时罢工委员会。委员会决定首先发动发行所职工进行罢工，并成立了以陈云为委员长的发行所职工会委员长。1925年8月22日，发行所职工举行罢工。接着，印刷所、总务处职工起而响应。当晚，总务同人会、发行所职工会、印刷所工会决定采取联合行动，成立罢工执行委员会，陈云再次被推举为委员长。
在陈云的统一组织、指挥下，罢工工人成功地抵制了资本家分化拉拢、破坏罢工的阴谋。罢工斗争坚持到27日，资本家被迫答应工人们提出的所有要求：成立全馆工会组织、增加工资、缩短工时、废除包工制、优待女工和学徒、不得因此次罢工开除工人、罢工期间工资照发等，罢工斗争取得胜利。
陈云的坚定意志和出色的组织才能，引起了商务印书馆党组织的高度重视，经商务印书馆党员懂亦湘、恽雨棠的介绍，陈云光荣地参加了中国，随后被推选为商务印书馆发行所职工会执行委员，从此走上了职业革命家的道路。
陈云虽然长期从事工人运动，但他在革命斗争的实践中，也逐渐深刻地认识到了在中国这样一个以农民为主体的国家里，要想最终取得革命的彻底胜利，就必须大力发动和组织农民参加革命。早在1926年7月，陈云就在商务印书馆职工会编的《职工》杂志上发表《中国民族运动之过去与将来》一文，指出：“在以农立国的中国，占全国人口80%强的农民，是民族运动中唯一大主力。农民不参加运动，中国革命鲜有希望。”“现在虽然在很少的几处有了农民协会等组织，不过还没有出现急进的趋势。但是，中国农民不是柔弱的，是富有革命性的。”
在这篇文章中，陈云还指出，农民是中国民族运动的主力，但如何把成千上万的农民组织起来，又如何训练已组织起来的农民，把他们引上正轨，使之和全国工人、学生、小商人及一切革命分子同在反帝国主义的旗帜下面去做民族运动的工作，这是很急迫需要解决的一个重要问题。为此，他提出了“到民间去”的口号。