A szarvaskői várat 1261-1295 között építették az egri vár egyik északi előváraként. Az egykori vár romjai a település szilvásváradi végén magasodó meredek szikla tetején láthatók.