Najwyższym organem władzy w Instytucie jest Komitet Pełnomocnych Przedstawicieli (KPP) rządów państw członkowskich, zbierający się na swoje posiedzenia regularnie dwa razy w roku. Członkowie KPP są mianowani przez swoje rządy po jednym z każdego kraju członkowskiego. KPP może rozpatrywać każdy problem dotyczący Instytutu, w szczególności przyjmuje i wyklucza członków, uchwala sankcje wobec państw członkowskich nie wywiązujących się ze swoich zobowiązań wobec Instytutu, uchwala i ma prawo zmiany podstawowych dokumentów (Statut, Protokół Finansowy, Regulamin Pracowniczy), określa perspektywy i kierunki rozwoju, ustala program naukowy, zatwierdza budżet, dokonuje wyboru dyrekcji (dyrektora, dwóch wicedyrektorów, głównego sekretarza naukowego i głównego inżyniera), ustala poziom zarobków, itd. Pierwszym przedstawicielem Polski w KPP był W. Billig (w latach 1956-1967), od 2008 roku tą funkcję pełni profesor Michał Waligórski.

Naukowym organem doradczym KPP jest Rada Naukowa (RN) licząca 49 członków, z których 18 jest mianowanych przez odpowiedniego Pełnomocnego Przedstawiciela i reprezentują każdy z krajów członkowskich, a pozostali są wybierani na posiedzeniu KPP z listy zaproponowanej przez dyrekcję Instytutu i mianowanych członków RN. Organ ten zbiera się dwa razy w roku.

Do najważniejszych jego zadań należy ocena działalności naukowej Instytutu, opiniowanie planu prac naukowo-badawczych, przeprowadzanie ekspertyzy propozycji dotyczących rozwoju nowych naukowych programów i projektów.

Członkami RN z Polski byli m. in. M. Danysz, L.Infeld, H. Niewodniczański, A. Sołtan. Członkami obecnej RN są M. Budzyński (UMCS, Lublin), M. Waligórski, K. Rusek (ŚLCJ, Warszawa), M. Jeżabek (IFJ PAN, Kraków).

Organem doradczym KPP w dziedzinie finansów jest Komitet Finansowy (KF), w skład którego wchodzi po jednym przedstawicielu od każdego państwa członkowskiego, mianowanym przez Pełnomocnego Przedstawiciela. KF kontroluje finansową działalność Instytutu, opiniuje budżet i jego realizację, udziela konsultacji i daje rekomendacje KPP dotyczące spraw finansowych.

Na bieżąco Instytutem kierują wybierani przez KPP na 5 lat dyrektor i dwóch wicedyrektorów. Pierwszym dyrektorem ZIBJ był D. I. Błochincew (Związek Radziecki), a jego zastępcami M. Danysz (Polska) i W. Wotruba (Czechosłowacja). W latach 1966-1968 wicedyrektorem Instytutu był A. Hrynkiewicz, nieco później M. Sowiński.

Struktura ZIBJ: Dyrektor Wiktor Matwiejew (Rosja), zastępcy dyrektora: Michaił Itkis, Władimir Kekelidze, Richard Lednicki (Czechy), Borys Szarkow, Aleksander Sorin, Borys Gikał.

Organami pomocniczymi RN są Komitety Programowo-Doradcze (KPD). Ich skład zatwierdza RN na wniosek dyrekcji (na 3 lata). W skład każdego z trzech KPD (fizyka cząstek, fizyka jądrowa, fizyka skondensowanej fazy materii) wchodzi ośmiu niezależnych ekspertów z danej dziedziny z różnych krajów i pięciu specjalistów z Instytutu. Polskimi członkami komitetów są A. Kisiel (PW, Warszawa) - KPD Fizyki Cząstek, J. Wąsicki (UAM) – KPD Fizyki Skonedsowanej Fazy Materii.

W kraju organem rządowym koordynującym współpracę z ZIBJ jest MNiSW. Na bieżąco sprawami ZIBJ zajmuje się Komisja ds Współpracy z ZIBJ przy Pełnomocnym Przedstawicielu Polski w ZIBJ w składzie: Mieczysław Budzyński (przewodniczący), Józef Andrzejewski, Andrzej Chmielewski, Władysław Chmielowski, Marek Jeżabek, Adam Kisiel, Krzysztof Królas, Wojciech Nawrocik, Ziemowit Popowicz, Krzysztof Rusek, Ryszard Sosnowski, Ewa Rondio, Michael Waligόrski.