Omkring kl. fem om morgenen den 12. august gav kontreadmiral Teddiman ordre om at åbne ild mod de hollandske skibe som lå nogle hundrede meter borte. Hollænderne besvarede ilden. De engelske skibe udenfor de dansk-norske forter havde fået ordre om først at åbne ild hvis fæstningerne begyndte at skyde mod dem. Men fæstningerne stod ikke længere under en fælles ledelse, og de hollandske forstærkninger på fæstningerne åbnede ild mod de engelske skibe. Derefter begyndte englænderne at beskyde de dansk-norske fæstninger, og fæstningerne blev tvunget til at forsvare sig mod det engelske angreb. Omkring klokken seks gav general von Ahlefeldt ordre til at indstille beskydningen og hejste det hvide flag på Bergenhus. Kontreadmiral Teddiman havde ingen mulighed for at se dette, da hans flagskib "Revenge" lå indhyllet i krudtrøg på den andre side af bugten. Desuden havde ikke Ahlefeld længere kontrol over sine egne fæstninger, og efter 15 minutter tog han flaget ned igen.<ref name=Fox134/>
Historie