小胡子要度过危险重重的重整军备计划起始阶段，只需安抚国际舆论，向所有国家保证说他想要的只是纠正和平协议的错误，为德意志人民在可接受的范围内争取民族自决，让德意志恢复在世界民族国家中应有的平等地位。小胡子保证，一旦德意志有实力抵御潜在威胁，重整军备会立刻结束。从本质上讲，这正是他直到1938年年中在做的事情。他不仅获得了阿尔弗雷德·罗森博格领衔的呐粹党外交政策办公室的支持，连康斯坦丁·冯·诺伊拉特男爵治下、仍为保守派官僚把持的帝国外交部也为小胡子站台。这些民族主义者行动相当一致，集体向同一个人开火：他们对20年代外交部长古斯塔夫·施特雷泽曼（Gustav Stresemann）奉行的“履行《凡尔赛条约》的条款”这一政策非常不满。他们支持德意志总理海因里希·布吕宁的改弦易辙。1930年，布吕宁曾用更激进的伯恩哈德·冯·比洛（Bernhard von Bülow）换掉了施特雷泽曼的高级助手，并任命其为国务秘书。外交官们在1933年1月对呐粹新政权表示欢迎，诺伊拉特就是他们其中之一。在兴登堡总统的直接要求下，他得以继续担任外交部长。1933年3月13日，比洛向诺伊拉特和国防部长勃洛姆堡提交了一份备忘录，强调了外交政策的中期目标，那就是鉴于赔款进程已经终止，且英法美三军已经停止占领莱茵兰，德意志应该找波兰要回在1918～1919年丢掉的土地，同时吞并奥地利。不过就目前的情势而言，他建议在重整军备使军力恢复之前，德意志应该避免做出任何侵略性举动。
然而要实现这个目标并不容易。1932年初国际社会在日内瓦召开了裁军会议，但未能取得成效，因为英法不愿意给德意志平等地位，他们既不愿意自己裁军，也不愿意德意志发展军队。国防部长勃洛姆堡积极地主张推行征兵制，尤其是眼见恩斯特·罗姆的褐衫军取代德意志陆军的威胁越来越大，他在外交部的支持下绕过小胡子，要求参加日内瓦谈判的德意志代表对反对取消限制德军规模的英法两国持强硬态度。当协商走进死胡同之时，勃洛姆堡劝服小胡子退出谈判。同时为展现决心，德意志还退出了裁军会议的主要支持者国际联盟。
小胡子宣布，退出是“因为其他列强提出了不讲道理和充满侮辱的卑鄙要求”。为表现自己的和平渴望，也为了表示他愿意追随列强裁军，小胡子在当晚做了一场时间很长的广播演讲，他声称有意侮辱德意志的行为以后绝不会得到宽恕。德意志已经被和平协议侮辱了，还被赔款拖进了经济灾难，现在列强又在裁军谈判中拒绝平等对待德意志，这种羞辱德意志再也无法忍受。他说，这个决定将由德意志人民集体做出。全民公投在几周后举行。最后的结果完全可以想到，在大规模的恐吓和暗箱操作之下，绝大多数人都支持小胡子的决定。尽管这么说难以肯定，但即使这是一次自由选举，多数人也很有可能会支持退出国联。唯一可能投反对票的是前德共人士和左翼的社民党人。
退出国联是第三帝国外交政策中的第一个决定性举动。很快德国又做出了一个让国内外震惊的决定。1934年1月26日，第三帝国和波兰政府签订了为期十年的互不侵犯条约。外交部对此表示持严肃的保留意见，只是因为小胡子力推，条约才能达成。对小胡子来说，签订这份条约的好处在于，在重整军备秘密进行的期间，与波兰的条约能够保护第三帝国脆弱的东部侧翼，改善双方当时恶劣的贸易关系，并为但泽自由市提供一些安全保障。当时但泽已由一个呐粹政府掌控，国联享有宗主权。但泽在空间上与第三帝国并不相接，二者之间隔着波罗的海走廊，走廊在和平协议中划给了波兰。与波兰的条约还能用来向英帝国和其他列强展示第三帝国是个和平国家——要知道就连广受赞誉的魏玛外交部长古斯塔夫·施特雷泽曼也只是通过《洛迦诺公约》解决了第三帝国西面的问题，而未能促成一份“东面的洛迦诺公约”。对波兰人来说，若之前国联提供的安全保障失灵了，这份条约可以作为替代物。它还能取代1921年以来的法兰西政府与波兰的同盟关系，因为当时法兰西内部的政治和经济状况已使其日益不能满足波兰面对第三帝国侵略时的防御需求（法兰西国力的衰落则是小胡子获得的额外收获）。但是，对小胡子而言，这份条约只是权宜之计，一张暂时有用的纸而已，一旦没用了他就会毫不客气地撕掉。而像这样的纸，以后还有的是。
1934年的大多数时候，小胡子都把注意力放在了国内政治上面，特别是6月底清洗褐衫军，以及应付前后出现的一些紧张局面。而就在大清洗之前，小胡子完成了身为第三帝国总理的第一次出国访问，访问对象是法西嘶的“统帅”墨索里尼，地点在威尼斯。
小胡子此行意在向墨索里尼解释即将发生的事情，争取获得对方的理解。很显然，小胡子对墨索里尼的崇拜是真心实意的。但是整个会议的氛围却分外冷淡。墨索里尼极度怀疑第三帝国对奥地利有所图谋，他认为奥地利属于自己的势力范围。奥地利是个内陆小国，一半临阿尔卑斯山，和意呆利是邻居。在哈布斯堡王朝于1918～1919年垮台之后，这个同样说德语的国家请求并入德意志，但被国际社会拒绝了，此后奥地利政局动荡不断。
没有几个奥地利人认为自己的国家能够继续存在下去。
奥地利和德意志的情况差不多，20年代初出现了通货大膨胀，之后又是通货紧缩，随后大萧条也来了。这个国家在政治上分裂为两个阵营，一边是社会主意者，主要基于红色维也纳（全国700万人约有三分之一住在维也纳）的工人阶级，另一边是以天主教为主的基督教社会党（Christian Social Party），力量来自维也纳的中产阶级和外省的保守农民与小城市选民。两股势力之间的紧张关系在1933年转变为公开敌对，这一年，来自基督教社会党的总理恩格尔伯特·陶尔斐斯（Engelbert Dollfuss）宣布永久解散议会，建立了一个威权政府。在此之后，警察经常骚扰社会主意者，致使1934年2月维也纳工人阶级地区发生了武装起义。起义被奥地利军方以武力残酷镇压。领头的社会主意者们，包括其中最有影响力的理论家奥托·鲍尔（Otto Bauer），从维也纳著名的地下水道集体逃亡。陶尔斐斯随后宣布社会主意非法，并抓了几千人关进监狱。1934年5月1日，这位奥地利独裁者为他的国家推动制定了一部新宪法。新法废除了选举，并且（至少在纸面上）以墨索里尼政权为模板建立了一个弱化版的工团主义国家。
陶尔斐斯的这些举动看起来雷厉风行，其实却反映出他的权力极不稳固。奥地利的经济形势比以前更加恶化，维也纳庞大的工人阶级怨恨沸腾。陶尔斐斯同时还承受着来自右派的压力。准军事组织国土防卫团（Home Defence Brigades）想要一种更激进的法西嘶主义，其组织基础中的意大利模式更为明显，此时也在不断挑事儿。原本很小的奥地利呐粹党迅速壮大，野心倍增。陶尔斐斯在1933年7月宣布查禁呐粹党，但这一行动基本于事无补。呐粹党被禁之时已经有近7万名党员，包括维也纳与奥地利内陆的贸易商和小店主、低级别的公务员、军队老兵、近期大学毕业生，还有警察和宪兵队中的关键成员。后来几个月呐粹党又吸引了近2万人。这些人因为暴力邪恶的反犹主义、反对教士和天主教群体而团结在一起，尽管这种团结一直不太稳定。他们怀念格奥尔格·里特尔·冯·舍纳勒尔（Georg Ritter von Schönerer）的泛日耳曼主义——年轻时的小胡子还在林茨和维也纳的时候就曾深受舍纳勒尔的影响。奥地利呐粹党的主要目标是与第三帝国立即合并。其党员经常收听边境线对面电台播放的呐粹宣传。在这些宣传影响下，奥地利呐粹分子更加坚信统一即将来临。暴力和恐怖成了他们颠覆奥地利政权的主要手段，这也为第三帝国吞并奥地利打下了基础。
1934年夏初，行动时机似乎已经成熟。维也纳党卫队第89旗队的指挥官弗里多林·格拉斯（Fridolin Glass）决定推翻奥地利政府。
1934年7月25日，弗里多林·格拉斯手下的150人（其中多数是失业工人和因信仰呐粹主义而被军队开除的士兵）穿着借来的奥地利军队制服闯进了奥地利总理大楼。
在当时，内阁已经离开，但党卫队抓住了正想从侧门逃跑的陶尔斐斯，并当场将其击毙。接下来政变者又闯进旁边的奥地利广播公司中心大楼，强占了一个无线电麦克风，向全国宣布政府已经自行解散。他们之所以能够轻易进这两栋大楼，可能是因为警察队伍里有支持他们的人。但这也是政变者所获得的最大支持了。奥地利褐衫军的领导集体当时正在附近的一个旅馆，假装对政变什么都不知道，也不干预。那时候第三帝国的褐衫军领导层被党卫队枪杀还不到四周，奥地利方面还不能完全接受。政变者的广播令他们事先在奥地利全国各地安排好的武装起义势力闻风而动。但是，起义很快被奥地利军队镇压，在有些地方国土防卫团也参加了镇压。伤亡者达数百人。而在褐衫军发动起义的地方，当地的党卫队却拒绝支持。甚至连很多地方的军队和警察系统中的呐粹官员也积极参与镇压叛乱。
这就表明，奥地利呐粹分子并未经过什么训练，根本没有为这样的冒险行动做好准备。他们太过自信，内部四分五裂，软弱无能。
后来，奥地利政府的司法部长库尔特·冯·舒施尼格（Kurt von Schuschnigg）在维也纳成立了新政府。他在和政变者短暂谈判之后就把他们全部抓了起来。小胡子也任他们自生自灭。那两个向陶尔斐斯连开数枪致其死亡的人在维也纳地方法院的院子里被绞死了，死前最后说的话是“小胡子万岁！”。参与政变的第三帝国驻罗马大使自杀未遂。
早在这些事件发生之前，一个奥地利的呐粹分子就抱怨说，“奥地利人普遍不会组织工作。在这方面他们需要普鲁士的帮助……没有普鲁士的组织能力，关键时刻肯定会出乱子。”这场血腥但滑稽的政变似乎印证了他的抱怨。
从此刻起，舒施尼格得以在更为牢固的基础上重组教权法西嘶独裁统治。他一方面打压国土防卫团，另一方面将呐粹分子赶入地下。之后的一段时间内，尽管呐粹分子还在继续进行***的破坏和暴力行动，但暂时没有取得太大效果。
小胡子无疑提前就知道这些事情。为发动政变，奥地利党卫队曾经在达豪集中营接受训练。1933年6月奥地利呐粹党被禁之后，小胡子任命的奥地利呐粹领导人、第三帝国的国会代表特奥·哈比希特（Theo Habicht）博士在流亡慕尼黑期间曾遥控奥地利的地下活动。他暗中将大量的反犹主义宣传注入奥地利，指责陶尔斐斯领导的奥地利政权是受猶太人操控的。奥地利呐粹领导集体发动政变之前的最后准备工作就是在哈比希特于慕尼黑的公寓中进行的。他告诉了小胡子他们在筹划什么，而小胡子也预祝了武装起义能够成功——
不过，小胡子显然被哈比希特的过度乐观所误导，以为奥地利军队会支持政变。
由于在慕尼黑流亡，哈比希特实际上并不是特别清楚奥地利国内的真实状况。不仅政变失败了，军队忠于政府，而且墨索里尼还得以将军队驻扎在勃伦纳山口（Brenner Pass），并明确表示，如果情况失控，他会出兵帮助奥地利政府平乱。小胡子愤怒和难堪得都要疯了。他一再重申自己当初并不支持发动政变，可他们就是听不进去，然后解除了哈比希特的职务，关闭了奥地利呐粹党在慕尼黑的办公室。
不过从另一个角度看，这次政变失败也提供了一个契机。
鉴于第三帝国和奥地利关系严重恶化，小胡子起用了“长刀之夜”后一直处于软禁中的代总理冯·巴本，称为恢复德奥关系需要一个老资格政治家居中斡旋。巴本是被谋杀的奥地利总理的朋友，还是知名天主教政治家，这些身份使他成为平息风波的绝佳人选。于是小胡子任命他担任德驻维也纳的大使。巴本知道自己别无选择，所以就接受了。在巴本的要求下，他的秘书贡特尔·冯·奇尔施基—博根道夫（Günther von Tschirschky-Bögendorf）获释（6月30日的清洗行动之后一直被关在监狱里），并跟着去了奥地利。这样一来，第三帝国最后一个有独立思想的保守派政治家就此出局，这是那场错误发动的政变意外产生的副产品。