Buenas,
hasta hace poco no conseguía encontrar plugins de vídeo para WordPress que no necesitasen que los mismos estuvieran alojados en Youtuve, Vimeo y similares y que además soportase OGG.
Hace poco realicé una búsqueda con mejor éxito y al final he instalado
MediaElement.js - HTML5 Video & Audio Player y lo he probado
en esta entrada con un OGG reciente.
El código básico para usarlo es tal que así:
<div>[video src="http://www.fotolibre.org/albums/colegota/tomatuordenador/tto-ventajas-software-libre.ogg" width="720" height="480"
poster="http://www.fotolibre.org/albums/userpics/10002/presentacion-toma-tu-ordenador-c02_-_34.jpg"]</div>
Lo de ponerlo dentro de una etiqueta div es necesario por
algún errorcillo que si no te lo muestra doble. Y como veis no pone una imagen fija al mostrarlo por lo que hay que indicárselo mediante la instrucción
poster.
Sencillo pero funciona.

Saludos,
Colegota