Історія Усова пов'язана з замком, а перша достовірна згадка про нього датується 1260 роком. Місто розташоване на середній висоті 280 м в долині потоку нижче замку на пагорбі, який піднімається з колишній підзамок з крутим схилом на схід, тоді як на захід це злегка хвиляста рівнина Могелницької борозни. Усовський замок видно з великої території, включно з основними транспортними шляхами від Могельниць до Забржега. Хоча місто має лише автомобільне сполучення з околицями, з іншого боку, до нього можна дістатися з Унічова та Літовли, Могельніце та Забржега, а також з півночі до Шумперка.
Найбільшою і найважливішою пам'яткою Усово є замок, побудований до середини 13 століття. Під замком стоїть церква св. Лілія. На пагорбі на південь від міста стоїть каплиця св. Роха з 1624 р. Є цінна барокова статуя св. Яна Непомуцького 1712 року, а також можна відвідати Лісовий музей у замку. На північно-західному краю міської забудови є кілька будинків колишнього єврейського гетто з будівлею синагоги з 19 століття, а за ними єврейський цвинтар, одне з найважливіших єврейських поховань у Моравії.
Нині в місті проживає 1210 жителів, до нього також відноситься місцева частина Бездекова.