Larry est né à Harmonstown, un quartier très tranquille dans la banlieue nord de Dublin, plus exactement au 60 de la Rosemont Avenue. Il fut contraint d'ajouter le "Junior" à la fin de son nom, afin de faciliter la distinction avec son père, Larry Mullen Sr.

Larry fit ses premiers concerts en jouant de la batterie au sein du groupe des travailleurs des services postaux et brièvement pour le Artane Boy's Band. Il joua même pour le défilé de la Saint-Patrick dans O'Connell Street en 1975. Ses vrais débuts à la batterie datent en fait de 1971, lorsqu'il prit des cours avec le légendaire Joe Bonnie, l'un des batteurs les plus talentueux d'Irlande. Bonnie eut néanmoins beaucoup de mal à enseigner les bases techniques à un Larry plutôt indiscipliné, ennuyé par la théorie, et qui préférait jouer au "feeling". C'est sa sœur, Cecilia, qui lui acheta sa première batterie en 1973 pour à peine 17 £…

Mais ce qui changea véritablement la vie du jeune Larry, c'est cette annonce qu'il placarda sur les murs du Mount Temple Comprehensive School durant l'automne 1976, dans laquelle il disait rechercher un bassiste, un guitariste, et un chanteur pour former un groupe de rock. Les réponses ne furent pas très abondantes, en vérité, mais à force de démarches, Larry réussit à convaincre le turbulent Adam Clayton, puis David Evans (The Edge), et Paul Hewson, le futur Bono. Bien que tout le monde connaisse aujourd'hui le groupe sous le nom de U2, Larry affirme que son véritable nom est "The Larry Mullen Band".

La carrière fructueuse de Larry au sein de U2 a été entachée de nombreuses tendinites qu'il soigne tant bien que mal avec des baguettes de batterie conçues sur mesure. En 1996, pendant les enregistrements de "Pop", le groupe dut par exemple se passer quelques jours des services de son batteur, souffrant. On le remplaça alors par des boîtes à rythme confectionnées par Flood, ce qui eut une certaine influence sur l'orientation musicale que prit l'album.

Larry est également connu pour sa passion des Harley Davidson : il parcourut ainsi près de 16 000 km pendant la tournée Zoo TV pour se rendre à chaque concert. Il est aussi réputé pour son admiration pour Elvis Presley, et chacun se souviendra de cette scène du film "Rattle & Hum", où Larry est tout ému de visiter la maison du King à Graceland, et où Bono est obligé d'user de ses charmes pour avoir l'autorisation de prendre son ami en photo sur la Harley d'Elvis.

Bien qu'il ait toujours une attitude très sérieuse, il possède tout de même un certain sens de l'humour et il est connu pour les tours qu'il joue à ses amis ainsi que pour son goût pour le karaoke. Il a même poussé la chansonnette lors de certains concerts du Zoo TV tour. Pour l'anecdote, Larry a une amie avec qui il a trois enfants. Il apprécie aussi beaucoup les chiens et a même remercié les siens, JJ et Missy, sur certains albums.