Joe Loss studierte Violine an der Trinity College of Music und an der London College of Music.
Allerdings als er in dem Chinese Cafe am Tower in Blackpool Musik machte, wollte er nur noch eine Band wie Bertini's Band leiten und keine klassische Musik-Karriere machen.
Joe Loss gründete 1930 seine erste Band und leitete diese ohne Unterbrechung bis 1990.
Seine ersten Aufnahmen machte er 1933 auf dem Edison Bell Winner Label, nur 12 Monate später ging er zur Regal Zonophone.
Seine Plattenaufnahmen wurden von 1935 bis 1942 von dem Sänger Chick Henderson stimmlich unterstützt. Vera Lynn machte ihre ersten Aufanhmen 1935 ebenfalls mit der Joe Loss Band.
1939 nahm er den Titel "In the Mood" auf, ein Riesenhit; der in Engalnd zu seiner Erkennungsmelodie wurde.