东北沦陷，激起全国人民的强烈愤慨，人民纷纷要求追究有关人员的责任。在蒋介石的授意下，各报界把一切罪过都推到张学良身上，使他成了丢失东北的“罪魁祸首”。张学良忍辱代蒋受过，为了表示对东北问题负责，特向南京政府引咎辞职。12月，他被罢免了陆海空军副总司令职务，改任北平绥靖主任。
当时，在东北尤其在黑龙江省尚有一部分中国军队。1931年10月10日，张学良电令部属黑河警备司令兼步兵第二旅旅长马占山（吉林怀德人）为黑龙江省代理省主席兼军事总指挥。马占山受命后，没有执行蒋介石“不予抵抗”的命令，毅然组织了嫩江桥的阻击战，中国官兵在劣势条件下与日军浴血奋战，给侵略者以沉重打击。1932年2月，日军以允许黑龙江自治为条件，诱使马占山赴沈阳参加伪满洲国“建国”筹备会议，出任伪黑龙江省省长职。马占山从沈阳到长春后，了解到日军扶植傀儡的真相，遂于4月2日潜回黑河，重整旧部，组织保卫团和民众义勇军，成立黑龙江抗日救国军总司令部。5月14日，马占山在黑河召开出征誓师大会，随后部队南下，于5月28日到达海伦，与北犯的日军展开激战，但终因寡不敌众而失败，马占山率领少数人马退入苏联境内。
日军占领东三省，建立伪满洲国后，蒋介石仍采取“不抵抗”政策，南京国民政府只是向国际联盟提出控诉，要求按照国际盟约及九国公约，制裁日本，迫其撤出东北。国联派遗李顿调查团，到“满洲”视察，张学良对此也存有幻想。后来国联调查团报告书在日内瓦、东京、南京三地同时发表。张学良认为，中国虽有数点不能满意，但仍可以接受。可是日本根本不把国联放在眼内，公然退出国联，视李顿调查团的报告书为废纸，使蒋介石、张学良依靠国联解决问题的幻想完全落空。
1933年元旦，日军进攻山海关，这回，张学良已忍无可忍，命令东北军何柱国部奋起还击，揭开了长城抗战的序幕。榆关之战是日本继“九一八”事变之后进一步有计划、有步骤侵占我国华北地区的前奏，也是打响长城抗战的第一枪。
榆关，俗称山海关，地处华北与东北的交通要冲，南临渤海，北依燕山，为兵家必争之地。
早在1932年12月8日，日军第8师团就以追击义勇军为名，以铁甲车一列向山海关站发炮38发。次日，更以飞机两架盘旋于榆关上空示威。炮击事件发生后，日方反污国军开枪射击，又说城内藏匿义勇军。而国民政府竟以“事出误会”处理。
当时的上海《申报》指出：日军于“12月8日在榆关挑衅，向城内发38炮，不过小试其锋，试测我当局之态度如何，以定进攻热河之步骤与方略，结果以事出误会4字和平解决。现日逆两军向辽西积极增兵，并增筑直通热河之汽车公路数条，及一切军事侵略之准备，企图一举而下榆关”。
事实确实如此，时隔半月，日军就开始从绥中调第8师团步兵3000余人及野、重炮40余门、飞机8架、铁甲车3列、坦克20多辆、兵舰2艘，分部在石河、山海关、威远、东水关一带。而当时驻守山海关的仅有东北军独立第9旅626团。
1933年1月1日下午2时，驻榆日军宪兵守备队队长落合通知在榆日侨撤往南海日军兵营“避难”。晚12时，日军向山海关守军提出4项条件：（1）南关归日军警戒；（2）南关中国驻军撤退城内；（3）撤退南关警察及保安队；（4）撤退城上之中国军队。
日方的无理要求被守军拒绝后竟将南关外之中国警察缴械。旅部参谋长何镜华与日方交涉无果后乃急电在北平的旅长何柱国返回驻地，并命令城内守军626团团长石世安积极作应战布置。
城内守军626团共1346人。团长石世安以第1营守南门，第3营守东门，旅部直属部队随团长在西门应援。第2营在城北策应守城部队。
1月2日晨5时，日军第8师团官兵2000余人抵达山海关车站。上午9时，日军守备队长儿玉率领士兵70余人，开始在南关民房架设机枪与平射炮，向我城内驻军射击，并开始攀登城墙。
我626团守军极力阻击攀城日军，并向爬城日军投掷手榴弹，日军守备队长儿玉当场毙命。日军眼看爬城无效，于是准备全面攻城战。
上午10时，日军3000余人包围了山海关城的西、南、东三面，开始猛攻我守军阵地。我守军虽然装备低劣，但士气旺盛，凭借手中大刀和手榴弹多次冲出战壕，与日军拼死肉搏，斩获甚多，终于打退日军第一次攻击。
1月3日，日军日军兵力增至6000余人，先用炮兵火力、铁甲车兵舰重炮向我守军南门城楼、东门等处轰击外，另以飞机助战。战至正午，南门及东南城角为日军突破，我守军将预备队投入，并以11连自东门向东南角逆袭，将入城日军击溃。
下午2时，日军增兵，再次攻击东南城角，我守军屡堵屡仆，争夺异常激烈。守军1营3连连长关景泉、2连连长刘虞宸、4连连长王宏元、第5连连长谢振藩相继阵亡，1连连长赵壁连重伤。
当日军战车从南门突入后，我守军第1营营长安德馨率领两个班奋勇反扑，终因敌众我寡，被迫后撤。营长安德馨在撤至西关清真寺前阵亡。同时城东北角和北门、西门也相继失守。
午后3时，守军团长石世安决定退守西关。不久四面城墙皆被日军突破，残余部队被迫退出山海关，往石河西岸集中。
日军在进攻山海关时付出了相当代价，根据战后日方公布：“榆关之役共计阵亡军官4名、下士官15名、负伤军官3名、下士官99名，总计死伤120名”。而我方也付出了阵亡官兵400余人、负伤300余人的代价。其中626团第1营全营殉国。
1月7日临榆电称：“榆关之役，敌炮火剧烈，并放燃烧弹，以致城内外商号毁于炮火者500户以上，伤亡达3000余人。”
日军入城后大肆搜捕，凡着中山装、军装者尽皆杀害。且借口清扫战场，蹂躏妇女、抢劫财物。
将时任第9旅旅长的何柱国所说“山海关之战，是”九一八“事变后，我东北军首次抵抗日军的入侵，并打响了长城抗战的第一枪。它打击了日军不可一世的侵略气焰，发扬了我中华民族的爱国正气，鼓舞了中国人民的抗日斗志。可惜我未能守住这个雄关，给敌以更重的打击，引为终生一大遗憾！”
张学良决心用赤血抵抗，保卫国土，洗刷自己以及东北军“不抵抗”的污名。不久，山海关失陷，日军向热河进*，蒋介石为了应付全国舆论和敷衍张学良，答应派刘戡、黄杰、关麟征三师北上支援，同时又派军政部长何应钦、财政部长宋子文、外交部长罗文干、内政部长黄绍竑、参谋本部次长杨杰等二十多位军政大员于2月初前往北平，以帮助张学良谋划。张学良将东北军编成两个集团军，约二十余万人。张学良自兼第一集团军总司令，指挥万福麟军团等东北军主力；张作相为第二集团军总司令，指挥孙殿英军团、汤玉麟军团等。
北方抗日前线，张学良悲愤异常，东北三省丢了，山海关也于1月3日失陷，日寇以锦州为基地，眼看要入侵热河。
蒋介石迫于全国舆论的压力，终于支持张学良抗日。
1月8日，张学良为山海关失陷举行记者招待会，说：“我们为争取民族的生存，只有拿我们的血肉、我们的生命来保卫和平，来保障中国，除此之外，再无别的选择！我们要用武力阻击日本！要让日本看到我们中国有能力阻击他们，打败他们！”
张学良电请蒋介石召集中央军及晋军增防热河。张又赶到南京面见蒋介石，讨论对日大计，表示有中央作后盾，他张学良决心遏制住日本的进攻。蒋介石说：
“很好，很好，我派力量支持你。”
日本全部兵力10万人，司令官是武藤信义大将，兵分3路进攻热河，一路由辽西向朝阳、凌源、平源；一路由开鲁向赤峰；一路向多伦一带，拟3路围攻承德，克承德后，再攻长城各口。
张学良把驻在长城以内的东北军调入热河布防。他以北平军事委员会分会代理委员长（委员长仍是蒋介石）的名义指挥华北各省军队，但华北军队，如阎锡山的旧部、冯玉祥的旧部与张宿怨未消，张难以指挥。东北军单独抗战无把握取胜，张唯一的办法是求援于蒋介石，但蒋介石仅调中央黄杰的第2师、关麟征的第25师、刘戡的83师北上，敷衍张学良。