Tata 1727-ben került az Esterházy család birtokába, gróf Esterházy (I.) József országbíró ekkor vásárolta meg a tata–gesztesi uradalmat. A birtok fejlesztése az elmocsarasodott vidék lecsapolásával, és telepes jobbágyok betelepítésével kezdődött, a kastély csak később épült fel. Először a Rákóczi-szabadságharc idején romossá vált, egykori királyi vár helyén álmodta meg Esterházy (II.) Miklós a kastélyt, amelynek tervezője a tatai uradalom építésze, Fellner Jakab volt. A gróf korai halála miatt nem valósult meg az elképzelés, de az építőmestert éppen ez a terv híressé tette. Fellner megbízásai ezután szaporodtak, pozíciója megerősödött, az uradalmi építési iroda élére került, és (II.) Miklós gróf testvérének, Esterházy Károly püspöknek a pápai családi, valamint az egri püspökségi építkezésein is foglalkoztatták.