Начиналось всё довольно давно: будучи детьми трое из четырёх участников: Daniel Hoxmeier, Joel Calvin и Greg Barkley уже вовсю музицировали. Причём, каждый освоил не менее трёх музинструментов. Называлось всё это довольно звучно — The Jolly Rogers. Но позже было придумано другое, более нам привычное название — Oh No! Oh My! вдохновлённое песней группы The Robot Ate Me.