W 1937 roku powstał Komitet Budowy Szkoły, na czele którego stanął wójt Rumi - Hipolit Roszczynialski.
Dyrektor i główny akcjonariusz firmy handlu zagranicznego "Pantarei" p. Mucha zakupił tereny w Janowie i bezpłatnie oddał parcelę na budowę nowej szkoły.
W 1938 roku przystąpiono do budowy szkoły, która miała rozpocząć swoją działalność 25.10.1939 roku. We wrześniu 1939 roku ukończono prace instalacyjne, tynkarskie, położono podłogi, wstawiono drzwi i okna, jednak wybuch wojny przeszkodził w zrealizowaniu planów do końca. Niemcy wykorzystali ten obiekt dla potrzeb powstającej w Rumi fabryki części do samolotów. Wybudowali wielką halę montażową, gdzie pracowali jeńcy wojenni.
Po wojnie budynek szkoły odzyskał swe pierwotne przeznaczenie, zaś w dawnej hali montażowej zorganizowano magazyn zbożowy, który istniał do 1992 roku. W kwietniu 1945 roku do organizacji szkoły przystąpił Bernard Bukowicz i Alfons Murawski, którzy powrócili z obozu koncentracyjnego. W czerwcu 1945 roku szkoła liczyła już 12 klas, a jej kierownikiem został Alfons Murawski. W 1946 roku uruchomiono przy szkole w Janowie Szkołę Dokształcającą Ogólnozawodową. W 1947r podzielono ją na Szkołę Podstawową w Janowie, której kierownikiem został Ignacy Liszewski i szkołę Podstawową w Rumi kierowaną przez Alfonsa Murawskiego.
W latach 1948/49 w budynku naszej szkoły utworzono Liceum Ogólnokształcące kierowane przez dyrektora Ignacego Liszewskiego. Istniało ono do stycznia 1956r. 1.02.1956 r. szkoła w Rumi Janowie została powtórnie przekształcona w Szkołę Podstawową. 22 października 1974 roku otrzymała imię Janusza Korczaka oraz sztandar, a w 1993r. orzeł na sztandarze otrzymał dodatkowo koronę. W 1986r. założono gaz, w 1989r. podłączono szkołę do kanalizacji miejskiej. W latach 1990/91 przeprowadzono remont kapitalny, a w latach 1992/93 rozpoczęły się prace adaptacyjne byłego zbożowca na potrzeby szkoły. Został on oddany szkole w 1993r. i od tego czasu służy jako sala gimnastyczna.
Od grudnia 1992r szkoła realizuje Europejski projekt Szkoły Promującej Zdrowie pod auspicjami WHO. W ramach ogólnokrajowej reformy oświaty od 1999r. przy Szkole Podstawowej utworzono Gimnazjum, tworząc tym samym Zespół Szkół nr 2 w Rumi, a docelowo ma pozostać tylko Gimnazjum nr 2. 2.03.2001 naszą szkołę odwiedził minister oświaty, Edmunt Wittbrodt, który zwiedził szkołę i odpowiedział na pytania uczniów. W szkole działają koła przedmiotowe i koła zainteresowań. Uczniowie pod opieką nauczycieli biorą udział w konkursach i olimpiadach na szczeblu szkolnym, rejonowym i wojewódzkim.
