/
Шаг 2. Загрузка данных

Шаг 2. Загрузка данных

В текущей версии платформы данные могут загружаются как из базы данных, так и с помощью Excel и CSV-файлов. В нашем примере мы продемонстрируем, как загружать данные из базы данных. Для этого мы выполним следующие шаги:

  1. В боковой панели рабочей области нажмите Создать > Набор данных для создания набора данных:

    create-dataset.png

  2. В открывшемся диалоге введите название и нажмите Создать:

     

  3. Откроется окно создания модели данных:

    model-window.png

  4. В левом верхнем углу нажмите Данные > Получить данные:

    get-data.png

  5. В появившемся диалоге щелкните База данных и нажмите кнопку Далее:

    choose-source2.png

  6. В открывшемся окне нажмите и заполните все поля открывшейся формы (см. пример заполнения в пункте 6):

    empty-fields1.png

    • Адрес сервера в формате mysql://{адрес сервера}:{порт} или postgresql://{адрес сервера}:{порт};

    • Имя базы данных - название базы данных;

    • Пользователь, под которым вы будете подключаться к базе данных;

    • Пароль для подключения. В пароле не допускаются следующие символы:

      • обратная косая черта (\);

      • апостроф (')

      • обратный апостроф (`)

  7. Нажмите кнопку Подключить. Если все параметры подключения указаны верно, соединение будет установлено.
    Для проверки подключения нажмите и выберите пункт меню Проверить подключение:

    check-connection.png

    При успешном подключении система оповестит об этом:

  8. Заполните поля в правой части окна:

    • Название таблицы – укажите в этом поле название для добавляемой таблицы. Поддерживаются кириллические и латинские символы, цифры, а также спецсимволы (кроме одинарных и двойных кавычек);

    • Текст запроса - текст отправляемого запроса. Например, select * from dimproduct
      Пример заполнения полей:

      request-window.png


      Рекомендуется писать ключевые слова SQL в нижнем регистре. Например, from вместо FROM.

      Вы также можете задать произвольное подключение к базе данных. Для этого необходимо переключиться в режим работы со строкой, включив опцию Строка подключения, ввести необходимую строку и указать пароль:

      connection-string (1).png

  9. Перед загрузкой таблицы на платформу вы можете просмотреть данные, которые вы собираетесь загрузить, или преобразовать их.
    Чтобы просмотреть данные, нажмите Предпросмотр в нижней части окна:

    preview (1).png


    Чтобы узнать, как преобразовать данные, см. раздел Преобразование данных ( Self-Service ETL).

  10. После заполнения всех полей нажмите кнопку Добавить в правом нижнем углу.

  11. Данные загрузятся на платформу и вы увидите таблицу на экране построения модели данных. В нашем примере получилось следующее:

    goods.png


    Если данные не загрузились, нажмите F12 на клавиатуре, чтобы проверить прошла ли загрузка успешно. При успешной загрузке в консоли отобразится появится запись “Операция загрузки прошла успешно!”:

    Информация для администратора: администратор платформы может установить таймаут для загрузки данных, по истечении которого загрузка прекратится. Для установки таймаута необходимо сделать следующее:

    • Добавьте в файл /var/lib/visiology/scripts/v3/env-files/fe.env требуемое значение для таймаута в переменную RefreshDataJob__Timeout:

      RefreshDataJob__Timeout=03:00:00

    • Перезапустите платформу: /var/lib/visiology/scripts/run.sh --restart

  12. Подобным образом добавьте еще несколько таблиц, данные которых вы хотите проанализировать:

    loaded-tables.png

    В панели Данные таблицы сортируются по алфавиту (или по возрастанию, если названия начинаются с чисел).

Теперь можно связать их по схеме “звезда“ для построения логической модели данных на основе всех этих таблиц. Чтобы узнать как сделать это, перейдите на следующий шаг.

Шаг 3. Построение модели данных

Время чтения: 1 мин.

Видео

Загрузка данных с помощью JDBC

Нужна дополнительная помощь?

Свяжитесь с технической поддержкой.