Brunéi participó por primera vez en los Juegos Olímpicos en 1988, con un solo funcionario, pero sin atletas. La nación envió atletas a competir en los Juegos Olímpicos de Verano en 1996, 2000 y 2004. En cada ocasión fue representado por un solo atleta. Brunei nunca ha participado en los Juegos Olímpicos de Invierno, y nunca ha ganado una medalla olímpica.

En las Olimpiadas de 2008, Brunei había previsto inicialmente para participar, pero fue expulsado en el día de la ceremonia de inauguración después de no haberse registrado ningún atleta con el COI.

Hasta el 2010 Brunei junto con Arabia Saudita y Qatar, es uno de los tres países nunca han enviado una atleta femenina de los Juegos Olímpicos.

El Comité Olímpico Nacional de Brunei fue creado en 1984 y reconocido por el Comité Olímpico Internacional en ese mismo año.