¿De qué forma puedo embeber audio en mi página web con HTML5?

Gracias a HTML5 ya no hay necesidad de utilizar esos molestos plugins hechos en Flash con utilizar el elemento <audio> acompañado de unas simples líneas de código podemos embeber nuestras pistas de audio sin ningún inconveniente:

<audio controls>
<source src="horse.ogg" type="audio/ogg">
<source src="horse.mp3" type="audio/mpeg">
</audio>