在城市商业银行上市大幕被徐徐拉开后，我国金融业改革的另一个难点——农村合作金融机构的改革被排上了日程。在出席第三期农村信用社省联社理（董）事长和高级管理人员培训班结业仪式时，银监会主席刘明康明确表示，要力争在5到10年内完成农村信用社的改革。
“在法人治理上，要适应社区性机构特点，建立形式灵活、结构规范、运行科学、治理有效的法人治理模式，力争用5到10年时间把农村信用社分期分批办成产权明晰、经营有特色的现代金融企业。”在谈到农村合作金融机构改革时，刘明康排出了农村信用社改革的初步时间表。
刘明康同时指出，我国的农村信用社，早就不是真正意义上的合作制组织，必须承认历史，尊重现实，不能走回头路。要按照市场原则，坚持股份制方向，围绕管理体制、产权制度和法人治理等3个关键环节，下大力气继续深化改革。在管理体制上，要坚持“政企分开，规范管理；服务为主，稳定县域；因地制宜，形式多样；市场运作，循序渐进”的总体原则，用资本说话，用股权联结，用规则约束，积极探索省级联社改革模式，逐步厘定省级人民政府与省级联社、省级联社与基层法人社之间的权责关系。在操作上，要防止违背基层意愿，防止弃乡进城倾向，防止眼睛向上，防止简单翻牌。在产权制度上，要按照股份制方向，优化股权结构，将“资格股”、“投资股”对应改造成为股份制下的“优先股”和“普通股”，并通过引进境内外机构投资者，成立股东持股基金或持股会，着力解决股东分散、股金不稳定和内部人控制问题。
我国农村信用社改革从2003年开始。当年6月，国务院决定在浙江等8个省（市）实施农村信用社改革试点。2004年8月，农村信用社改革在除海南和西藏以外的21个省（区、市）全面推开。截至2006年6月末，共组建银行类金融机构80家，组建以县（市）为单位统一法人机构584家。同时，农村信用社监督管理框架基本建立，省级政府、省联社和监管机构的职责分工初步明确。