Pekerja ladang rentung, rumah kongsi terbakar