Verificar si modelo no tiene llave foranea en otro modelo

Estoy trabajando con Django y su sistema ORM para el manejo de informacion en bases de datos y tengo una duda en cuanto a las llaves foraneas y mis modelos, tengo el siguiente modelo:

class Site(models.Model):
... 
...

Y este otro el cual contiene la llave foranea para Site:

class SiteInfo(models.Model):
... 
...

site = models.ForeignKey(Site)

Existe una forma de obtener los registros en en Sites que no tengan una entrada en SiteInfo?

Gracias de antemano.

Gracias felipe con el metodo filter lo hizo sin problemas