第二次哈尔滨保卫战首先由双城阻击战揭开序幕；1932年2月1日拂晓，二十二旅长赵毅在双城附近击溃伪军刘宝麟旅，然后进入双城隐蔽待敌；当晚，在双城堡车站阻击了日军天野旅团，使天野旅团的主力遭受严重的损失；但赵毅旅接着便遭受了敌人援军田岛旅团和20架飞机的袭击，势孤难支，双城遂被日军占领；
双城失守，哈尔滨的门户已经洞开，日军主力很快*近南郊，汉奸于琛澄的5个旅也由阿城出发，向哈市道外进攻，哈尔滨外围保卫战于2月3日打响；为了应付万分危急的局面，李杜“率同总部参谋副官数名及卫队一连亲赴前线总指挥部，布置防线；前方将士因总司令亲至前方督战，精神愈益兴奋”；李杜以丁超旅守三棵树，以邢占清旅防守南岗，以王之佑旅防守顾乡屯，自己亲自率所部与赵毅一部守上号；
2月4日晨，日军各路兵马向哈市发动了总攻；日军借人多势众和飞机坦克的掩护，步步向抗日军*近，抗日军只凭着民房；土墙等建筑物和简单的工事进行抵御；“双方炮火剧烈异常，日军进犯哈长线以来，此战役最猛烈，我军将士忠勇进发，誓死抵抗”；
3小时后，顾乡屯守军团长白文俊投敌，旅长王瑞华临战逃脱，形成了无人指挥；各自为战的混乱局面；南岗守军将领邢占清在敌人炮火猛攻下率指挥人员退入市内，队伍溃散；早在哈尔滨保卫战之前就受熙洽密使与张景惠来接头的金世铭，也乘势率警察总队倒戈，投向敌人；丁超则擅离职守，跑到张景惠的公署里躲避。
各路日伪军毫无阻碍地向李杜；赵毅的防地压过来；李；赵阵地腹背受敌，孤军苦战，敌人越来越多，步步*近，战斗愈发残酷；这时，哈市内降日的警察署长和日本特务头子土肥原等指挥日伪军从市里杀出来，断绝了抗日军的归路，李杜和赵毅的部队已处于日伪军的包围之中；李杜负伤多处，他看出败局已无可挽回，命令赵毅带队伍撤退突围，自己留下掩护，他暗下决心：要与国土共存亡。
李杜的亲密战友；爱将赵毅坚持要与李杜一起突围，李杜不肯；为了让赵毅带部队尽快突围脱险，他要以身殉国，拔枪欲自尽，被部下和卫士们夺下手枪，将他救起；赵毅以进为退，指挥部队向敌人发起猛攻，待敌人慌乱防守之时，赵毅指挥队伍迅速突围；卫士们保护李杜一起突围，日伪军们深知李杜；赵毅部队骁勇善战不敢追击，日军首脑的本意是攻占哈市，也无意与抗日军再战。
2月5日夜，哈尔滨陷于日军之手，第二次哈尔滨保卫战“始以转战经日，伤亡盈千，兵力过疲，呼救无援”而失败；李杜只好率部队退守宾州；方正，后返回依兰；不久，邢占清；丁超率余部转到依兰与李杜会合，吉林救国军王德林等也派人联络，表示愿听从李杜指挥；从此依兰变成了吉林省继哈尔滨之后第二个抗日大本营。
为了取得政府在武力等方面的支援，李杜派赵毅化装进关去联络，为东北抗日军求取后援；赵毅不顾千难万险，进关找到国民党当局，但国民党当局不给予援助；赵毅无奈又找到少帅张学良，但张学良受蒋介石挟制，也无办法；从此赵毅留在张学良部受到重用。
李杜不甘心哈尔滨陷入日军之手，他在等待军事援助的同时，积极筹备军饷，扩大兵源，准备再次攻打哈尔滨；为了表示抗日的决心，李杜带头将个人银行存款和个人经营的面粉公司统统捐献出来，以充军备；在他的带动下，当地绅士；商人们踊跃捐款；捐粮，城乡青年纷纷报名入伍抗日，抗日部队迅速壮大；在李杜苦心经营下，依兰及下江13县又点燃了熊熊的抗日烈火。
1932年4月，马占山从齐齐哈尔出走，抵达黑河发表通电，再揭抗日义旗；日军惶恐万状，抽调第十；十四等师团前去征剿，哈市出现空虚；此时在吉林，王德林救国军屡战屡胜；在辽宁，各路抗日义勇军的活动也出现高涨局面，整个东北抗日烈火愈烧愈旺；李杜决心抓住这一大好时机，主动出击，反攻哈尔滨，迎接武装抗日斗争*的到来；4月中旬，李杜在依兰亲自主持召集了自卫军总部会议，会议决定分三路向哈市推进。
三路纵队于4月下旬誓师出征，不出数日，左；中；右各路相继报捷；就在自卫军三路大军节节胜利；哈市指日可克的时刻，后方自卫军总部所在地依兰突然遭到日伪军的偷袭；原来由于三路大军出征，后方依兰空虚，日军乘虚而入，密派第十师团的村井旅团和中村支队在伪江防舰队掩护下，乘船自松花江顺流而下，出奇不意于5月17日突袭依兰；李杜闻讯，指挥留守部队死命抵抗，无奈事出突然，兵力薄弱，前方将士又回师不及，依兰随即失守；李杜只好率余部经勃利转移到梨树镇（今鸡西市梨树区）。
依兰失守，李杜苦心经营的被服粮草；武器弹药以及修械所全部落在敌人手中；尤其令人痛心的是，左路纵队的第二旅旅长刘万魁内讧兵变，杀害了李杜的爱将马宪章，致使部队元气大伤；六七月间，前方各部相继失败，冯占海率部南下，杨耀钧；邢占清也率残部撤回勃利；八面通；这时，李杜所率部队已到了“兵不满千”的地步；在严重的挫折面前，有些将领对抗日前途悲观失望，脱离部队，当了逃兵；有些将领如丁超等人则暗中盘算，阴谋投敌，李杜处于极度困难之中。
熙洽等一些汉奸对李杜劝降之心不死，以为有机可乘，4次派人说降李杜；日军首脑深知劝降李杜这样有重大影响的人物，对其统治东北的重要性，也加以威胁利诱，企图迫使李杜就范；李杜针锋相对，当众揭露敌人的阴谋，痛斥游说者；为了表明自己抗日的决心，李杜在致北平救国会的电文中，郑重宣誓：“只有杀敌李杜，以光我中华民族；决无降敌李杜，以污我中华战史”。
与此同时，李杜冷静地分析了严酷的现实，他认识到要抗日到底，首要是把部队的士气再次鼓动起来，他对将士们说：“梨树镇乃吉林省大矿区，易筹军饷，又南依中东路，地处深山区，交通方便，易于防守；”他号召将士们振奋精神，克服困难，重新组织和发展抗日力量，建立梨树地区武装抗日斗争的根据地；他在给张学良的电文中表示，决心“与护路军通力合作，组织联合司令部，整饬部属，再图规复……为国牺牲，士皆用命，成功利钝，亦所不计”。