Lužická tvrz, její páni a poddaní