První písemná zmínka o Krhově souvisí s farou, resp. s farářem krnovským Eneášem a je datována již roku 1253. Krhovský kostel sv. Jakuba Staršího je z 2. poloviny 13. stol. Ves Krhov náležela již v polovině 13. stol. Pánům z Miroslavi. Když v roce 1398 předali příslušníci tohoto rodu Krhov Vítu Havlíkovi z Prahy a jeho společníkům, stala se ves zvláštním statkem a byla zde vybudována tvrz. Někdy kolem r. 1600 tvrz přebudována v jednoduchý renesanční zámek, přestavěný koncem 18. stol v barokní, přičemž jádro pozdně gotické tvrze zůstalo uchováno. Právě na této tvrzi nocoval v letech 1580- 1581, při svých cestách po Moravě, i Petr Vok z Rožmberka s celou svoji družinou. Poslední neděli v červenci se v obci koná pouť. V místě jsou dvě prodejny smíšeného zboží, včelařské potřeby a výkup medu.
