Devolución arras por vecino conflictivo

Hola! He firmado un contrato de arras por la compra de una vivienda. Cuando fuí a verla pregunté por los vecinos y me dice el vendedor que muy bien, que son familias con niños. Ahora me entero que justo al lado vive un vecino con "negocios turbios", conocido por la policía, con antecedentes, que causa problemas a otros vecinos e incluso con amenazas. El vendedor lleva muchos años en esa vivienda y toda la vecindad sabe de la existencia del vecino y sus negocios. Me siento engañado y muy preocupado, dado que tengo un niño pequeño. Quiero que me devuelvan el dinero de las arras, puesto que es una situación en la que creo que peligra mi seguridad y la de mi familia. Tendría alguna posibilidad en caso de que denuncie el caso?