1941年9月23日，鲁德尔的联队（第一和第二中队）袭击了?琅施塔德港湾（在列宁格勒附近）中的苏联舰队。在袭击中，鲁德尔用1000公斤炸弹击沉了苏联战列舰“马拉”号，炸弹命中了她的弹药库并把她炸成了两截。“我们打中她了……你一定命中了她的弹药库……她爆炸了！”（引自鲁德尔的后座机枪手斯哈诺夫斯基的通讯记录）
1941年12月24日，鲁德尔在圣诞前夜执行了他的的500次飞行任务。12月30日，他从里希特霍芬将军（一战中著名的飞行英雄曼弗雷德·冯·里希特霍芬的兄弟，也是二战中的德国空军元帅）本人手中接过了金质德国十字勋章，然后鲁德尔被派往格拉次去培训新的“施图卡”乘员。1942年1月15日，他被授予骑士十字勋章。在他自己的要求下，1942年6月他回到了东线中队第一分队的指挥权，在斯大林格勒地区执行战斗任务。那时他的分队经常被派去对付苏联坦克，尽管大家都已经认识到了炸弹并不是一种适当的反坦克武器。
1943年2月10日，汉斯·鲁德尔执行了他的第1000次飞行任务并且成为了德国的国家英雄。随后他被派往在布良斯克新组建的特别的空中反坦克单位，试验改进过的Ju-87 D-3型（坦克破坏者）。新的Ju-87 D-3型在机翼下挂载了两门37毫米反坦克炮（从高炮改进而来，装有特殊整流罩并且每门炮配有6发弹药），是德国空军实验局对东线严峻的坦克战形势作出的反应。原型机首先被用于在黑海上攻击苏联登陆艇，鲁德尔在三周内就摧毁了70艘。1943年3月，在贝尔格诺德的一次坦克战中，鲁德尔用他的新型Ju87击毁了第一辆苏联坦克。“……我的后座机枪手告诉我他看见坦克象颗炸弹似的炸开了而且他看见有些碎片撞上了我们的飞机……”（汉斯·乌尔里希·鲁德尔） 之后，更多的Ju-87 D-3被改装成坦克破坏者，同时从1943年10月起，新设计的Ju-87 G-1（在德军中呢称Panzerknacker – Tank Buster or Kanonenvogel – Cannon Bird，可以理解为带大炮的小鸟) 开始陆续抵达东线日，空军上尉汉斯·鲁德尔获得了带橡树叶的骑士十字勋章。他的分队共有9架Ju-87 G-1，被指派在“堡垒”作战（库尔斯克会战）中支援第3党卫军装甲师（骷髅师团）。在会战的第一天，鲁德尔在第一次出动中就击毁了4辆苏联坦克，到那天结束，他的战绩达到了12辆。“我们都知道每一辆击毁的坦克都意味着更多的德国兄弟被拯救了。”（汉斯·鲁德尔）同时，鲁德尔分队的战绩也促使了新的“坦克破坏者”分队（Panzerstaffels）的组建。根据他的经验，鲁德尔为“坦克破坏者”分队发展出了新的攻击战术。他发现对付坦克的最佳途径是从后方或侧方袭击它们（T-34的后方安装着引擎和冷却系统，不能安装重型装甲板）。有趣的是这就意味着飞机为攻击敌坦克必须从敌方向我方飞行，不过这对在攻击中受伤的飞机来说却是一个巨大的优点。
1943年10月25日，汉斯·鲁德尔被授予带宝剑和橡树叶的骑士十字勋章。在1944年3月的早些时候，他完成了第1500次战斗任务并被晋升为少校。3月晚些时候，在一次任务中，鲁德尔的分队遭到了一个分队的La-5战斗机的攻击。一架“施图卡”被击伤并迫降在地面上，乘员安然无恙。汉斯·鲁德尔决定降落并把他的同志们从敌占区救出来。降落很顺利，他把乘员们从损坏的飞机中拉了出来，但却发现由于地面过于松软，飞机不能起飞了。他们被迫向着德军战线步行前进，同时逃避着俄军的追捕。鲁德尔和他的同志们到达了德涅斯特河并在冰冷的河水中游了600米，在即将上岸时，他的后座机枪手淹死了。最后，受了伤的鲁德尔是唯一一个成功回到德军战线的人。随后他返回了他的分队，受到了他的同志们的热烈欢迎。1944年3月29日，由于他的勇敢，少校汉斯·乌尔里希·鲁德尔被授予当时德国最高军事荣誉——带钻石、宝剑和橡树叶的骑士十字勋章。