Emergency  managers  of  today  grapple  with  post-hurricane damage assessment that is often labor-intensive, slow,costly,   and   error-prone.   As   an   important   first   step   towards addressing  the   challenge,   this   paper   presents   the   development of  benchmark  datasets  to  enable  the  automatic  detection  ofdamaged buildings from post-hurricane remote sensing imagerytaken  from  both  airborne  and  satellite  sensors.  Our  work  has two  major  contributions:  (1)  we  propose  a  scalable  framework to  create  benchmark  datasets  of  hurricane-damaged  buildings