Miejsce, w którym obecnie znajduje się Stadion Miejski w Elblągu od wielu dziesięcioleci służyło do uprawiania piłki nożnej. Jeszcze przed wojną, z racji bliskiego położenia szkoły, niemieckie władze miasta sfinansowały budowę boiska. Zaplecze sportowe dawnej szkoły Jahnschule (obecnie Gimnazjum nr 5), obok boiska przy szkole Paulusschule, było najokazalszym w mieście. Dookoła murawy powstała bieżnia oraz małe trybuny. Budowa obiektu trwała w latach 1926-28.

W czasie działań wojennych Elbląg doznał bardzo dużych zniszczeń. Nie ominęły one także infrastruktury sportowej, łącznie z boiskiem Jahnschule. Piłkarze pierwszych elbląskich drużyn piłki nożnej (protoplastów Olimpii), wraz z działaczami doprowadzili je do stanu używalności. Ze względu na ogrom zniszczeń nikt nie myślał o budowie nowego stadionu. W mieście należało odbudować o wiele ważniejsze obiekty. Postępująca odbudowa kraju oraz polityka władz promujących sport oraz uczestnistwo w imprezach sportowych sprawiły, że w Elblągu pojawiła się możliwość budowy nowej areny zmagań piłkarskich. Wybór miejsca był oczywisty – kolebką elbląskiej powojennej piłki nożnej były tereny wokół dzisiejszej ulicy Agrikola. To właśnie tam grały miejscowe drużyny, którym należało zapewnić właściwe warunki do rozwoju.

Nowy stadion został oddany do użytku w sezonie 1951/52…

Ze względu na coraz lepsze wyniki sportowe Olimpii, konieczna była rozbudowa jej obiektu. Dobra gra drużyny przyciągała na trybuny przy Agrikola coraz liczniejsze grono kibiców. W marcu 1965 roku zamknięto stadion i rozpoczęto drugi etap rozbudowy. Prace budowlane prowadziła Elbląska Spółdzielnia Budowlana, pod nadzorem Jerzego Hryniewieckiego – znanego architekta i profesora Politechniki Warszawskiej, mają cego  już za sobą stworzenie projektu Stadionu X-lecia w Warszawie oraz katowickiej hali widowiskowej Spodek . W czasie rozbudowy macierzystego stadionu piłkarze Olimpii mecze w roli gospodarza rozgrywali na stadionie przy ulicy Krakusa.

Na początku 1988 roku zarząd klubu podjął decyzję o budowie zadaszenia nad dzisiejszą Trybuną PROSTA. Władze Olimpii liczyły się oczywiście z dużymi kosztami, jakie niosła za sobą ta inwestycja, dlatego młodzi zawodnicy prowadzili na trybunach stadionach kwestę, w czasie spotkań rozgrywanych przez I zespół. Oczywiście kwesta miała pokryć jedynie część wydatków, ale ostatecznie nie znaleziono środków, które pozwoliłyby sfinansować budowę, w związku z czym projekt zarzucono.

Z początkiem rundy wiosennej sezonu 1997/98 drewniane trybuny od strony budynku klubowego zostały zamknięte dla kibiców. Z tej strony pozostawiono jedynie wąską trybunę, która stała się miejscem, z którego spotkania Olimpii oglądają władze klubu, miasta, sponsorzy, dziennikarze oraz zaproszeni goście. Dlatego nazwana została Trybuną VIP i rolę tę pełni do dziś. Nad nią znajduje się budka spikera, która powstała w środkowej części trybuny, w pobliżu zegara oraz tablicy wyników.

Na jesieni 1999 roku przeprowadzono jeszcze drobną modernizacją obiektu. Przez krótki czas piłkarze Olimpii ponownie korzystali w zastępstwie ze stadionu przy Krakusa. Przed rozpoczęciem sezonu 2000/01 do porząku doprowadzono murawę na Agrikola. Na obiekcie pojawiły się również plastikowe krzesełka. Zamontowano je na Trybunie VIP oraz  Trybunie PROSTA.

W połowie 2003 roku po raz pierwszy w renowację stadionu włączyli się kibice. Sympatycy Olimpii, zrzeszeni w niewiele wcześniej powstałym Stowarzyszeniu „Żółto-Biało-Niebiescy”, odrementowali kasę biletową od strony ulicy Agrykola.