World data center for geoinformatics and sustainable development

http://www.wdc.org.ua/

World data center
for geoinformatics
and sustainable development

Світовий центр даних
з геоінформатики
та сталого розвитку

Introduction

Вступ

World data center for geoinformatics and sustainable development (WDC) is situated in the educational-scientific complex "Institute for applied systems analysis" (ESC "IASA") of the National academy of sciences (NAS) of Ukraine and Ministry of education and science (MES) of Ukraine in the structure of the National technical university of Ukraine the "Kyiv polytechnic institute" (NTUU "KPI"), Kyiv, Ukraine.

Світовий центр даних з геоінформатики та сталого розвитку (СЦД) базується в Навчально-науковому комплексі "Інститут прикладного системного аналізу" (ННК "ІПСА") Національної академії наук (НАН) України та Міністерства освіти та науки (МОН) України у складі Національного технічного університету України "Київський політехнічний інститут" (НТУУ "КПІ"), м. Київ, Україна.

Creation and development
of the World data center
in Ukraine

Створення та розвиток
Світового центру даних
в Україні

Ukraine was brought over to the processes of global data collection in the days of creation two first WDCs, as one of the largest soviet republics with plenty of outstanding scientific institutions. Considerable part of work on collection and preparation of data was executed in the specialized academic establishments of the all USSR, which then passed information to WDC B. With disintegration of the USSR and appearance of new countries, during 90s there was a problem of Ukrainian scientists' isolation from the world scientific community: previous connections with partners on scientific data exchange were weakened, and new ones were not set.

Ukraine is a young state which from the beginning of the existence should solve the thorny problem of liquidation of consequences of failure on Chernobyl' nuclear power plant. The solution of whole spectrum of problems drew attention of scientists of whole world, that resulted in creation of new approaches in projections and design of natural and anthropogenic disasters and promotion of renewal of network of scientific supervisions and scientific data collection.

By the decision of Presidium of the National academy of sciences of Ukraine (NAS), Ministry of education and science of Ukraine and Geophysical center of the Russian academy of sciences (GC RAS) from April, 3, 2006 the Ukrainian branch of the World data center (UbWDC) at the Educational scientific complex “Institute for applied systems analysis” (ESC “IASA”) of the National academy of sciences of Ukraine, Ministry of education and science of Ukraine was created as a subdivision of the Russian World data centers: “WDC for Solar-Terrestrial Physics” and “WDC for Solid Earth Physics” (Moscow).

Important factor influenced on creation of WDC exactly in ESC “IASA” was the interdisciplinary orientation of institute, presence of the own synthesized information (results of researches on sustainable development, which are conducted by the staff of this institute), and plenty of scientific relations between ESC “IASA” and other scientific institutions of Ukraine and world.

The considerable part of WDC development became the IT-orientation of NTUU “KPI”, which allowed to provide all of the processes of data acquisition, storage and transfer in WDC on the base of modern IT-technologies and powerful computing facilities.

It is necessary to notice that NTUU “KPI” is the central node of “URAN” network (URAN - Ukrainian Research & Academic Network), that provided the substantial diminishing of expenses on data communication between scientific institutions which are added to the network. Further connecting of URAN to the European network GEANT2 in 2007, opened up a number of new possibilities in exchange of the information with scientific institutions of Europe and whole world.

But considerable volumes of information and modern models, which are used in researches of the global systems, stipulate the new high-quality level of the required computing power. For this purpose in ESC “IASA” together with UbWDC a High performance computing center (HPCC) was created, which provide work of cluster on the base of architecture of Intel Xeon and data storage, based on IPStore technology.

All above-mentioned resources became the links of general structure of WDC cooperation according to the resulted chart (Figure 1).

Україну було залучено до процесів збору глобальних даних ще у часи створення двох перших СЦД (СЦД А в США, Boulder; СЦД Б в СРСР, Москва), як одну з найбільших радянських республік з великою кількістю видатних наукових шкіл. Значна частина роботи зі збору та підготовки даних виконувалася в спеціалізованих академічних установах по всьому СРСР, які вже потім передавали дані до СЦД Б. Зі зникненням СРСР з карти світу та створенням нових країн, протягом 90-х років виникла проблема ізоляції українських вчених від світової наукової спільноти: попередні зв’язки з партнерами по обміну науковими даними зникали, а нові не встановлювалися.

Україна – молода держава, яка від самого початку свого існування мала вирішувати складне завдання ліквідації наслідків аварії на Чорнобильській АЕС. Вирішення цілого спектру проблем привернуло увагу вчених зі всього світу, що привело до створення нових підходів у прогнозуванні та моделюванні природних і техногенних катастроф та сприяло поновленню мереж наукових спостережень та збору наукових даних.

Рішенням Президії Національної академії наук (НАН) України, Міністерства освіти і науки (МОН) України та Геофізичного центру Російської академії наук (ГЦ РАН) від 3 квітня 2006 р. в ННК «ІПСА» НТУУ «КПІ» було створено Українське відділення Світових центрів даних (УвСЦД) в Навчально-науковому комплексі «Інститут прикладного системного аналізу» (ІПСА) НАН України та МОН України як відділення російських СЦД з сонячно-земної фізики та фізики твердої землі (м. Москва).

Важливим чинником, що вплинув на створення УвСЦД саме в ННК «ІПСА», стала міждисциплінарна спрямованість інституту, наявність власних синтезованих даних (результати досліджень зі сталого розвитку, що проводяться колективом цього інституту), та велика кількість наукових зв’язків між ННК «ІПСА» та іншими науковими установами України та світу. Окрім того НТУУ «КПІ» та ННК «ІПСА» мають необхідні ресурси, як технічні, так і людські, для довгострокового забезпечення діяльності СЦД.

Важливою складовою розвитку СЦД стала IT- спрямованість НТУУ «КПІ», що дозволила реалізовувати усі процеси отримання, зберігання та передачі даних до СЦД на базі сучасних IT- технологій з самого початку.

Слід також зазначити, що НТУУ «КПІ» є центральним вузлом Української науково-освітньої телекомунікаційної мережі «УРАН» (URAN - Ukrainian Research & Academic Network), що забезпечило суттєве зменшення витрат на передачу даних між науковими установами, приєднаними до мережі. Подальше підключення URAN до загальноєвропейської мережі GEANT2 у 2007 році, відкрило ряд нових можливостей по обміну даними з науковими установами Європи та усього світу.

Але значні обсяги даних та сучасні математичні моделі, що використовуються при дослідженнях глобальних систем обумовлюють новий якісний ступінь обчислювальної техніки. Для цього в ННК «ІПСА» разом із УвСЦД було створено обчислювальний центр, що забезпечує роботу кластера паралельних обчислень на базі архітектури Intel Xeon та сховища даних, створеного за технологією IPStore.

Все вищенаведене стало ланками загальної структури взаємодії СЦД за наведеною схемою (Рисунок 1):

Figure 1 WDC organization workflows — Рисунок 1 Організаційна структура СЦД

In the spring 2008 UbWDC applied to WDC Panel concerning the certification for the status of full-fledged member in world data center System (Figure 2).

Навесні 2008 року УвСЦД звернулося до комітету Системи СЦД стосовно приєднання до Системи Світових центрів даних в якості повноправного члена (Рисунок 2).

Figure 2 World data system — Рисунок 2 Світова система даних

Following the recommendations there was an International Russian-Ukrainian seminar “Forming of global geoinformatic space for the study of the issue of the urgent problem of Earth” on April, 23-25, 2008, where the topic of technical providing of WDC, prospective of its long-termed stability, correspondence to the principles and responsibilities of World Data Centers etc.

In seminar took part representatives of academic institutions of NAS of Ukraine and RAS, M. Z. Zgurovsky, academician of NAS of Ukraine, ICSU National Scientific Member from Ukraine, scientific supervisor of UbWDC; V. I. Starostenko, academician of NAS of Ukraine, director if Institute of Geophysics; O. E. Sovga, academic secretary of Marine HydroPhysician Institute of NAS of Ukraine; V. I. Lyalko, academician-member of NAS of Ukraine, director of Sciencce centre of Aerospace researches of the Earth; Ya. S. Yatskiv, academician of NAS of Ukraine, director of Main astronomic Observatory of NAS of Ukraine; O. O. Gliko, academician RAS, director of Insititute of Physics of the Earth; O. D. Gvishiany, corresponding member of RAS, director of Geophysical Centre of RAS etc.

Participants of the seminar decided that first stage of evaluation of UbWDC was successful, and it was recommended to pass the final stage of evaluation of certification of UbWDC during the CODATA-2008 conference on October, 5-8, 2008 as the World data center for geoinformatics and sustainable.

During the CODATA-2008 conference UbWDC was presented at the organized session "Emerging Technologies and Opportunities for Global Data Management and Exchange" leaded by Prof. Jean Bernard Minster (Co-Chair of the World Data System Transition Team).

According to the consideration during the session it was decided that UbWDC will join the new World data system (WDS), which is created from the ICSU World data centers and the Federation of Astronomical and Geophysical data analysis Services (FAGS).

As there are no documents regulating WDS members’ activity at the moment, WDC is acting in compliance with Past WDC Panel requirements.

Відповідно до отриманих рекомендацій, 23-25 квітня 2008 р. було проведено міжнародний російсько-український семінар мережі Світових центрів даних «Формування глобального геоінформаційного простору для вивчення актуальних проблем про Землю», на якому зокрема розглядалися питання щодо технічного забезпечення СЦД, перспектив його довгострокової стабільності, відповідності Нормам та зобов’язанням Світових центрів даних та ін.

У роботі семінару взяли участь представники академічних установ НАН України та РАН, серед них М. З. Згуровський, академік НАН України, національний представник України в Міжнародній раді з науки, науковий керівник СЦД; В. І. Старостенко, академік НАН України, директор Інституту геофізики ім.С.Субботіна; О. Є. Совга, вчений секретар Морського гідрофізичного інституту НАН України; В. І. Лялько, чл.-кор. НАН України, директор Наукового центру аерокосмічних досліджень Землі; Я.С.Яцків, академік НАН України, директор Головної астрономічної обсерваторії НАН України; О.О. Гліко, академік РАН, директор Інституту фізики Землі ім.О.Шмідта РАН; О.Д. Гвішіані, чл.-кор. РАН, директор Геофізичного центру РАН та інші.

Учасники семінару вирішили, що перший етап оцінювання УвСЦД пройдено успішно, і рекомендували остаточний етап сертифікації УвСЦД в якості Світового центру даних з геоінформатики та сталого розвитку провести під час конференції CODATA-2008 5-8 жовтня 2008 р.

Під час конференції CODATA-2008 УвСЦД було презентовано на спеціальній сесії "Emerging Technologies and Opportunities for Global Data Management and Exchange" на чолі з професором Жаном Бернаром Мінстером (співголова Перехідного Комітету Світової системи даних).

За результатами обговорень було вирішено, що УвСЦД приєднається вже до нової Світової системи даних (ССД), яка створюється з колишніх Світових центрів даних ICSU та Федерації сервісів з аналізу астрономічних та геофізичних даних.

Оскільки наразі не існує документів, що регламентують діяльність членів ССД, СЦД діє згідно вимогам колишнього Комітету СЦД.

Modern state

Сучасний стан

For WDC for geoinformatics and sustainable development such general tasks were formed:

· Organization of the effective system of data collection.

· Search for data sources.

· Establishment of contractual relationships with the national and world data providers.

· Development of subsystems of direct data collection.

· Providing of comfortable access for users:

ü Creation and support of web-portal with online access and data retrieval (www.wdc.org.ua).

ü Providing of multidimensional interfaces for data access.

ü Creation of databases.

ü Planning and development of additional software for comfortable work with data.

WDC collects all available world data on sustainable development including the data synthesized during the research held in the ESC “IASA”. The second direction “geoinformatics” (solid Earth physics; solar-terrestrial physics; oceanography; astrophysics; cartography) is provided with authentic data through the network of partners that are connected to WDC by bilateral agreements about partnership and scientific exchange. Most of the partners are academic establishments of NAS of Ukraine and RAS. The complete list of organizations-partners and proper directions is resulted in Table 1.

Для СЦД з геоінформатики та сталого розвитку було сформовано такі основні завдання:

· Організація ефективної системи збору інформації.

· Пошук джерел даних

· Встановлення договірних відносин з національними та світовими постачальниками даних

· Розробка підсистем прямого збору даних

· Забезпечення зручного доступу для користувачів:

ü Створення та підтримка веб-порталу з онлайн-доступом та пошуком даних (www.wdc.org.ua).

ü Забезпечення багатомовного інтерфейсу доступу до даних.

ü Проектування баз даних.

ü Проектування і розробка додаткового ПЗ для зручної роботи з даними.

СЦД збирає усі доступні світові дані зі сталого розвитку, у тому числі й ті, що синтезуються в ході досліджень, які проводяться безпосередньо колективом ННК «ІПСА». Другий напрям – «гео-інформатика» (фізика твердої землі; сонячно-земна фізика; океанографія; астрофізика; географія) – забезпечується аутентичними даними через мережу партнерів, з якими було укладено угоди про партнерство та науковий обмін. Більшість партнерів - це академічні установи НАН України та РАН. Повний перелік організацій-партнерів та відповідних напрямів наведено у Таблиці 1:

#	Institution	Scientific area
	The committee on Data for Science and Technology (CODATA)	General methdology of working with data
	Institute of Physics of solid Earth of RAS	Physics of solid Earth
	Geophysical Center of RAS	Physics of solid Earth, solar-terrestrial physics and geoinformatic systems
	Institute of Geophysics of NAS of Ukraine	Seismology, gravimetry, thermal currents, archaeo- and paleomagnetism, magnetic measures, modern movements
	National Center of Aerospace researches of the Earth of NAS of Ukraine	Aerospace pictures for application in geology, ecology, agriculture, forest and water economy, at prognostication of risks of natural and anthropogenic processes, prognostication of global changes of environment and catastrophic processes
	Main astronomic observatory of NAS of Ukraine	Space geodesy and geodynamics; cosmic rays, solar data
	Marine hydrophisical institute of NAS of Ukraine	Oceanology and hydrometeorological data
	Insitute of Geography of NAS of Ukraine	Cartography data

Together with these partners WDC began the row of general projects which already gave some results:

· CODATA 2008 conference (http://codata08.org.ua);

with GC RAS:

· development of complex of databases and algorithms of treatment with the purpose of system prognostication of conduct of the difficult anthropogenic and natural systems (joint grant of RFBR RAS and NAS of Ukraine);

· creation of the joint analytical system of primary collection, treatments and transfers of data to separate scientific directions (joint grant of RFBR RAS and NAS of Ukraine);

· creation of GIS «Russia—Ukraine»;

· participation in the project of EGY (Electronic Geophysical Year);

· additional training of WDC employees in GC RAS.

with IGP:

· the first stage of introduction of the automated system of geophysical data saving is conducted with the elements of publication of seismological data;

· development of recommendations is conducted for modernizations of the systems of transmission and seismological data saving

· acquiring membership in international organizations IRIS and ORFEUS.

with NCASRE:

· work on creation started to model for the solution of tasks of thematic tasks with their further realization on the base of calculable powers of WDC.

with IG:

· development and support of electronic version of National Atlas of Ukraine (2008, the main developers are the Institute of Geography of NAS of Ukraine and LLC ”Intellectual Systems - GEO”) on the technical base of WDC

· creation of the joint scientific-educational laboratory of dimensional (geographical) data bases and use of geoinformational systems.

WDC also executes the tasks of the Government having a special purpose program “Informations and communications technologies in education and science” on 2006-2010.

Works are constantly conducted on preparation and publication of information on the specialized web-portal of http://wdc.org.ua with the help of which users from all the countries in real time receive full and open access to data and information (free of charge and without any restrictions).

Users’ activity in last half of the year (Martch’09) is shown in Figure 3 and Table 2.

Разом з цими партнерами СЦД розпочало ряд спільних проектів, які вже дали певні результати:

· конференція CODATA 2008 (http://codata08.org.ua);

спільно з ГЦ РАН:

· розвиток комплексу баз даних та алгоритмів обробки з метою системного прогнозування поведінки складних антропогенних та природних систем (спільний грант РФФІ РАН та НАН України);

· створення спільної інформаційно-аналітичної системи збору, обробки та передачі інформації по окремим науковим напрямам (спільний грант РФФІ РАН та НАН України);

· створення ГІС «Росія—Україна»;

· участь у проекті EGY (Electronic Geophysical Year);

· додаткове стажування спеціалістів СЦД у ГЦ РАН.

спільно з ІГФ:

· проведено перший етап впровадження автоматизованої системи зберігання геофізичних даних з елементами публікації сейсмологічних даних;

· проводиться розробка рекомендацій з модернізації систем передачі та збереження сейсмологічних даних;

· вступ до міжнародних організацій IRIS та ORFEUS.

спільно с НЦАКДЗ:

· роботи зі створення набору моделей для розв’язку тематичних задач ДЗЗ з їх подальшою реалізацією на базі обчислювальних потужностей СЦД.

спільно з ІГ:

· розгортання та супроводження електронної версії Національного атласу України (2008 р., головні розробники Інститут географії НАН України та ТОВ «Інтелектуальні системи - ГЕО») на технічній базі СЦД;

· створення спільної науково-освітньої лабораторії просторових (географічних) баз даних та застосування геоінформційних систем.

СЦД залучено до виконання завдання Державної цільової програми «Інформаційні та комунікаційні технології в освіті і науці» на 2006-2010 роки.

Постійно ведуться роботи з підготовки та публікації даних та їх описів на спеціалізованому веб-порталі http://wdc.org.ua, за допомогою якого користувачі з будь-якої країни світу у режимі реального часу отримують повний та відкритий доступ до даних та інформації (безкоштовно та без обмежень).

Активність користувачів за останні півроку (березень 2009 року) наведено на Рисунку 3 та в Таблиці 2.

Figure 3 WDC users on map (March’2009) —
Рисунок 3 Користувачі СЦД на карті Світу (Березень-2009)

All data and information given to WDC are accessible to all the users and other WDC. Portal has topical index of information and data, provide users with facilities for data retrieval and data loading. Portal topics are assigned corresponding organization-partners, they can place, correct and remove the information and data independently in their topics and bear responsibility for their authenticity. Organization-partners can provide users with additional information and provide high-professional consultations if necessary.

Necessary information and data users can receive in the WDC office directly.

For collaboration of wide circle of developers which work on different projects of WDC, an official knowledges and documenting base was created on the basis of Wiki-system with the use of opened MediaWiki software (which is used in the world known encyclopedia of Wikipedia).

All program developments of WDC both independent and in cooperation with partners, are held in the scopes of united complex system of exchange, processing and storage of scientific information, that is the group of information resources, technologies, hardware and software and technical facilities of processing and connection, for providing direct data receiving, control of information transmission to the different categories of users according to authorities of access. Due to the module approach, use of developed facilities of data storage Oracle, powerful calculating resources of cluster and large capacity of URAN and GEANT networks system is able to provide the range of independent user-friendly interfaces and mechanisms for organization of data adding, processing and presentation, oriented on the needs of every partner, for instance the language of metadescription, that allows users to set their own models for global modeling of sustainable development processes in global and regional contexts, as well as visualization facilities, integrated with geoinformational systems for data representation. The developing system will have possibilities for data exchange with information system of different types of other science institutions and is aimed to integration with informational WDC resources.

Усі дані та інформація, надані СЦД, є доступними для всіх користувачів та інших СЦД. Портал містить тематичний показник інформації та даних, надає користувачам засоби для пошуку і завантаження даних. Розділи порталу закріплено за відповідними організаціями-партнерами СЦД, які мають змогу самостійно розміщувати, редагувати та вилучати дані та інформацію у своїх розділах та відповідають за їх достовірність. У разі необхідності організації-партнери можуть надати користувачам додаткову інформацію та забезпечити високопрофесійні консультації.

За потреби необхідну інформацію та дані користувачі можуть отримати безпосередньо в офісі СЦД.

Для коллаборації широкого кола розробників, що працюють над різними проектами СЦД, було створено службову базу знань та документування на основі вікі-системи із використанням вільного програмного забезпечення MediaWiki (яке використовується на всесвітньо відомій енциклопедії Wikipedia).

Усі програмні розробки СЦД, як самостійні, так і спільні з партнерами, виконуються в рамках єдиної комплексної системи обміну, обробки й зберігання наукової інформації, що являє собою сукупність інформаційних ресурсів, технологій, апаратно-програмних і технічних засобів обробки й зв'язку, для забезпечення безпосереднього одержання даних, контролю проходження інформації й передачі інформації різним категоріям користувачів відповідно до повноважень доступу. Завдяки модульному підходу, використанню розвинених засобів зберігання даних Oracle, потужних обчислювальних ресурсів кластера й великої пропускної спроможності мереж URAN й GEANT система зможе надати ряд незалежних дружніх до користувача інтерфейсів і механізмів для організації введення, обробки й репрезентації даних, орієнтованих на потреби кожного партнера, наприклад, мова метаописів, що дозволяє користувачам задавати власні моделі для глобального моделювання процесів сталого розвитку в глобальних та регіональних контекстах, а також засоби візуалізації, інтегровані з геоінформаційними системами для репрезентації даних. Розроблювальна система матиме широкі можливості для обміну даними з інформаційними системами різного типу інших наукових установ і націлена на інтеграцію з інформаційними ресурсами WDS.

Дата добавления: 2015-11-04