公元17年，整个中原大地一片混乱，天灾人祸使得百姓流离失所，无以为生，官员和政府也想不出办法来挽救局面。百姓被逼得走投无路，最终选择了起义。
在南方的荆州（包括今河南南部、湖北中部、湖南西部），因为粮食颗粒无收，百姓们不得已去沼泽和水塘周围挖掘野菜。野菜的数量不多，饥民却不少，为了能抢到一点吃的，大家争先恐后在田地里挖野菜，难免会引发争抢，需要有人能站出来维持秩序。新市（今湖北京山东北）有两个叫王匡和王凤的人，他们自愿担任协调组织的工作，因为公平公正，大家久而久之都听从他们，俨然成为百姓心目中的领导人物。
眼看出现了越来越多的难民，王匡和王凤干脆把这些人全部聚集起来，打算发动起义。难民们对朝廷已经不抱任何希望，也许起义能带给他们一个新生活，因此没有人表示反对，而且还有更多的人在听到王匡和王凤起义的消息后，从远处赶来投奔他们。王匡和王凤选定绿林山（今湖北大洪山）作为根据地，因此起义军也被称为绿林军。他们占领了周围的村落，并不断接纳逃难来此的农民，短短几个月时间里，绿林军的人数已经增长到八千多人，势力范围也越来越大。
朝廷听到绿林军起义的消息后，王莽立刻派了两万名官兵去镇压，没想到被绿林军打得落荒而逃。王莽气得直跳脚，绿林军则趁这次获胜的时机，又占领了好几座城镇，还把关押在监狱里的囚犯都放了出来，把粮仓里的粮食拿一部分出来分给老百姓，
剩下的全部搬上了绿林山。王匡和王凤的善行得到了百姓的一致拥护，更多的人投奔绿林，起义军的人数已经达到了五万多。可是好景不长，绿林军刚有了一些成果，一场瘟疫突然降临，起义军差不多死了一半数量的人，剩下的人为了保存实力，只好分成三路人马离开绿林山，各自占领了新市、平林（今湖北随州东北）和下江（长江在湖北西部以下地区）。
在泰山，有一个叫樊崇的人也发动了起义，他先是领着几百人把泰山占为根据地，然后对外召集人马。有一支小规模的起义军投靠了樊崇，还没到一年时间，手下就有一万多人，占领了泰山郡（今山东泰安）。樊崇带着起义军在青州（今山东中部）和徐州（今江苏北部）之间和官府军队抗击，不时抢夺地主豪强的粮食，分给穷困的百姓。
樊崇规定起义军不能欺负穷人，如果有谁残杀或者伤害百姓的话，就处以死刑或者受到严厉的惩罚。和绿林军一样，老百姓对樊崇的军队也很拥护。
全国轰轰烈烈的起义运动令王莽十分焦急，他派出大批部队去镇压那些起义军，结果官军被起义军消灭得干干净净，带军将领也被杀死了。王莽接着任命太师王匡（不是绿林军的首领王匡）带领军队先去镇压樊崇的部队，然后再打压绿林军。
公元22年，太师王匡率领大队人马来到泰山郡，把樊崇的部队包围起来。樊崇先鼓励大家奋勇作战，然后要求每个人把自己的眉毛画成红色，这样一来就能和官府军队区分开来，以免伤到自己人。从这以后，樊崇的军队也被人们称为“赤眉军”。
赤眉军和朝廷的军队厮杀激烈，最后太师王匡落败而逃，腿上还被樊崇的长槍戳出一个血洞，士兵也死伤大半，都逃回了长安。赤眉军经过这一仗之后更加勇猛，不但势力范围进一步扩大，军队人数也猛增到十多万。
绿林军和赤眉军打退王莽军队的消息很快传遍了全国，很多人受到他们的鼓舞，也纷纷发动起义。一时之间，黄河沿岸地区的起义军多达好几十支，一些在王莽改制后被削减利益的地主和没落贵族也举旗发动起义，企图推翻王莽的统治。
在南陽郡舂陵（今湖南宁远北）乡有兄弟二人，分别叫刘縯和刘秀，王莽登基后废除了刘氏宗族的贵族身份，不允许他们再做官封侯。虽然刘氏家族很气愤，无奈王莽把持朝政，反抗不了。现在全国都在反对王莽，刘氏当然不甘示弱，刘縯和刘秀早就集结了几千家乡百姓和族人，在舂陵乡发动起义。刘縯和刘秀找到绿林军首领，和他们联合起来对抗王莽的军队，并且在交战过程中杀死了好几个朝廷将军。
绿林军的势力越来越大，为了更好地管理军队，有人提出推举一个首领，因为群龙无首办不成大事，有了首领，起义军行动也有了规划，于是大家开始讨论该由谁来担任首领的事情。一些有身份的人要求首领必须从刘氏家族中选出，这样才能树立威信，当时的思想是很传统的，出身高的人大多会得到众人的拥护，于是起义军开始寻找合适的刘家子孙来担任首领。
然而起义军里有不少刘姓子孙，大家一时不知该推举谁。刘縯带领的士兵向推举刘縯，但是其他起义军害怕刘縯强大之后会对他们不利，坚决不同意刘縯当首领，他们找来一个叫刘玄的没落世家子弟，声称要立他为皇帝。刘縯急了，想到了缓兵之计，便要求等到推翻王莽政权、合并赤眉军之后再立皇帝，同样也被大部分起义军拒绝。最后，势力占下风的刘縯只好同意了大部分人的提议，拥护刘玄为皇帝。
公元23年，刘玄正式成为绿林军的首领，并恢复了汉朝国号，年号“更始”，刘玄也因此被称为更始帝。王匡、王凤被封为上公，刘縯被封为大司徒，刘秀被封为太常偏将军，其他还有几个有功绩的将领们也一一被封了官位。从这以后，老百姓就把绿林军称为汉军。