1937年11月8日，太原失守，华北战局发生了重大变化。为此，党中央要求八路军115师立即赴吕梁山脉，129师赴晋东南，120师赴晋西北，决死一纵队赴太岳山脉准备坚持长期的游击战争。11月13日，129师在和顺县石拐镇召开全体干部会议，决定派工作团赴晋东南各县开展工作，主力部队随后分散到各地开展游击战争。
1938年2月，八路军115师344旅和第5支队在旅长徐海东、政委黄克诚率领下，从正太路南下驻守高平，转归129师指挥。3月，129师386旅补充团（后改编为17团）进驻阳城。随后，决死三纵队从翼城、浮山开进到沁水一带活动。同时，中共中央北方局在晋东南地区建立了冀豫晋省委，领导晋城各县党的工作。八路军、决死队进入晋城后，与地方党组织、牺盟会一道，很快打开了工作局面，在县区村普遍成立了农工青妇救国会，并组建了人民武装自卫队，逐步改造了县区村三级政权。
1938年2月，焦作、新乡相继被日军占领。在这里活动的中共北方局军委书记、八路军驻第一战区司令部联络处主任朱瑞，副主任唐天际，以及直鲁豫边省工委书记王卓如、组织部长聂真、青年妇女部长薛讯、军事部长高锦民等人向晋城转移，并在晋城成立华北军政干部学校，校长由朱瑞担任，学校共培训了2000多名学员，这批骨干力量，分别充实到军队和政权中，为开辟太南、晋豫和豫北地区作出了重要贡献。
阳城县地处晋豫两省结合部，居太岳、中条、王屋山之间，境内祟山峻岭，尤以南部山区最为险峻，是通往中原和陕西的一条险道，在战略上具有重要地位。以此为中心建立敌后抗日根据地，一是可以依托深山老林进行独立自主的山地游击战，作为抗击日军的一个支点；二是可以同太行和豫北的部队相互策应，保持八路军在战略上的主动地位；三是可以支援中条地区国民党军队的正面作战。阳城人民有着光荣的革命传统，历史上多次发生革命斗争，群众基础好。中共阳城县组织成立之后，开展了大量的活动，虽然多次遭到失败，但是在群众中已产生了很大的政治影响。同时，阳城县还有一支党领导下的训练有素的500多人抗日人民武装自卫队。这一切，具备了建立敌后抗日根据地的条件。
3月下旬，根据中共中央和北方局的指示，朱瑞在阳城县横河镇下寺坪村召开了有直鲁豫边省工委负责人以及唐天际、李敏之等参加的联席会议。决定撤销直鲁豫边省工委以及曲沃特委、河东特委、豫北特委，成立中共晋豫特委。4月，经中共冀豫晋省委批准，中共晋豫特委正式成立，聂真任书记，薛迅（女）任组织部长，李哲人（原曲沃特委书记）任宣传部长，高锦民任军事部长，嘉康杰、阎子祥、温建平（原河北特委负责人）、方升普（原豫北特委委员）和唐天际等为委员。晋豫特委受冀豫晋省委领导，原属长治特委领导的晋城中心县委及其下属组织改由晋豫特委领导。从此，晋豫地区统一的党的领导机构正式建立，并开展了卓有成效的工作。其活动范围为临（汾）屯（留）公路以南，黄河以北，同蒲铁路以东，白（圭）晋（城）公路以西地区。特委机关驻阳城横河镇下寺坪村，创办有机关刊物《大众报》。