Pierwsza wzmianka o miejscowości pochodzi z 1342 r. Na skraju puszczy, przy pruskiej osadzie Rast, krzyżacy wybudowali drewnianą strażnicę nazwaną Rastenburg. Znajdowała się ona prawdopodobnie na wzgórzu nad rzeką Guber, w miejscu gdzie około pół wieku później wybudowano stojący do dnia dzisiejszego obronny kościół św. Jerzego. Zadaniem strażnicy i osadzonej w niej załogi była obrona tej części państwa zakonnego przed licznymi wyprawami litewskimi; był to także punkt etapowy w krzyżackich wyprawach na Litwę. Strażnica, dwukrotnie zdobywana i palona przez Litwinów - 3 listopada 1345r. przez wojska książąt Olgierda i Kiejstuta i 22 lutego 1347 r., była każdorazowo odbudowywana, a położona przy niej osada zaludniła się nowymi mieszkańcami. 11 listopada 1357 r., komtur Bałgii Johan Schindekopf nadał osadzie prawa miejskie. W tym czasie zapewne rozpoczęto budowę murowanego zamku usytuowanego w południowo-wschodnim narożniku murów miejskich.

Budowę zakończono przed 1374 r., kiedy zamek w Rastenburgu po raz pierwszy pojawił sie w wykazie inwentarzy zamków zakonnych. Pierwszy znany opis zamku pochodzi z początków XVIII w. (ok. 1706). Jego autorem był Adam Huldreich Schaffer, rektor miejscowej szkoły, autor "Chronik von Rastenburg". Dla wcześniejszego okresu dysponujemy jedynie informacjami z inwentarzy zamkowych o pomieszczeniach znajdujących się w zamku, oraz krótkimi wzmiankami o pracach budowlanych. Najstarszy widok zamku znajduje się na rycinie wykonanej ok. 1684 r. przedstawiającej panoramę miasta od strony północnej, opublikowanej przez Krzysztofa Hartknocha. Na tejże rycinie oparta została nieco młodsza, bo pochodząca z 1704 r., panorama miasta opublikowana przez Adlerholda. Niestety, obydwa przekazy ikonograficzne zawierają sporo błędów.

Zamek początkowo był budowlą trójskrzydłową, zamkniętą od strony zachodniej murem z bramą wjazdową. Najbardziej reprezentacyjne skrzydło północne zajmował pfleger - prokurator, urzędnik sprawujący władzę z ramienia Zakonu. Mieściła się tu także kaplica wzmiankowana jeszcze w 1628 r. Na dziedzińcu znajdowała się studnia. Prawdopodobnie na przełomie XIV i XV w. zamek otoczony został od północy, wschodu i południa murem obronnym z cylindrycznymi basztami w narożnikach, przystosowanymi do wykorzystywania broni palnej; od strony miasta wybudowano mur przed wejściem do zamku. Około połowy XV w., w murze otaczającym zamek wybudowano dwie bramy z mostami zwodzonymi - południową i wschodnią, zamurowane po zdobyciu zamku przez mieszczan w 1454 r.

W zamku i przylegającej do niego części miasta nazwanej Nowym Miastem istniały m.in. piekarnia, kuchnia, młyn, słodownia i browar, skład mięsa i zboża, spiżarnia, zbrojownia i prochownia oraz więzienie, wzmiankowane w 1564 r. Po 1525 r. zamek został siedzibą starostwa książęcego. Kolejne prace budowlane na zamku przeprowadzone zostały w latach 1528-1529 i 1559- 1560. Przed 1566 r. przebudowano skrzydło zachodnie zamku, a w 1622 r. w północno- zachodnim narożniku dziedzińca wybudowano cylindryczną basztę z klatką schodową. W 1682 r. rozebrano dwie górne kondygnacje skrzydła północnego, zrównując jego wysokość z pozostałymi skrzydłami budowli. Być może wtedy także zasypano część piwnic pod skrzydłami wschodnim i południowym. Śad po dawnym zejściu do piwnic w skrzydle południowym widoczny jest jeszcze dzisiaj w murze w południowo-wschodnim narożniku zamkowego dziedzińca.

W XVIII i XIX w. zamek z leżącym przy nim folwarkiem był siedzibą domeny królewskiej. W tym okresie przebudowywano go dostosowując do pełnienia funkcji mieszkalnych. W miejsce gotyckich okien wykonano nowe, znacznie szersze. Budowla nie była jednak zbyt wygodnym miejscem do zamieszkania, skoro w 1742 r. rezydujący w zamku starosta Groeben skarżył się w liście do króla na panujące tu zimno, informując jednocześnie, że z tego powodu ostatniej zimy musiał wynająć dom w mieście. 15 grudnia 1797 r. w zamku miał miejsce wielki pożar. W latach 1911-1912, po kupnie obiektu przez miasto, zamek ponownie przebudowano, przeznaczając większość pomieszczeń na mieszkania. Wówczas także znajdował się tu lokal biurowy 3. Brygady Piechoty. Pod koniec lat 30-tych XX w. na zamku prowadzone były drobne prace konserwatorskie.

Przed drugą wojną światową znajdował się tu urząd finansowy i mieszkania urzędników. W początku lat 40-tych zachodnią część piwnic pod skrzydłem północnym przebudowano na schron przeciwlotniczy. W końcu stycznia 1945 r., po zajęciu miasta przez wojska radzieckie zamek i większa część staromiejskiej zabudowy miasta zostały spalone. Projekt odbudowy połączonej z regotycyzacją obiektu oparty został na rekonstrukcji rysunkowej wykonanej w końcu XIX w. przez Steinbrechta.. Po odbudowie przeprowadzonej w latach 1962-1967, budowla odzyskała gotycki charakter dzięki podwyższeniu dachów, skrzydeł południowego i wschodniego oraz dodaniu jednego piętra z gotyckimi szczytami i spadzistym dachem w skrzydle północnym. Obecnie w kętrzyńskim zamku funkcjonują: Muzeum im. Wojciecha Kętrzyńskiego i Miejska Biblioteka Publiczna.