◫UBC Data BridgeДокументація2.1.1
Сайт продукту Консультація

UBC DATA BRIDGE

Документація

Практичні інструкції: перший потік, ETL, API, Agent, конектори, запуск, доступ і приклади.

Початок роботи

Що нового

UBC Data Bridge 2.1.1: можливості для обміну даними, API, локальної мережі та керованих процесів.

↗
Можливості UBC Data Bridge

Від джерела даних до перевіреного результату — в одному візуальному потоці.

↗
Перший потік

Покроковий сценарій: завантажити таблицю, відібрати рядки та отримати файл.

↗
Основні поняття

Джерело, підключення, блок, потік, чернетка та запуск — різні об’єкти системи.

↗

Архітектура

Загальна архітектура

Компоненти системи та їхня відповідальність — без прив’язки до мов реалізації.

↗
Рушій і продуктивність

Як система виконує граф, контролює ресурси та готує записи.

↗
Варіанти розгортання

Окремий продукт або інтеграція з UBC Analytics; онлайн та автономна поставка.

↗
Метадані та зберігання файлів

Що знаходиться у базі, що — у файловому сховищі, та як працює ізоляція.

↗

Потоки та запуск

Бібліотеки та організація роботи

Як знаходити потоки, підключення та джерела, працювати з папками й блокуванням.

↗
Конструктор потоків

Полотно, блоки, порти, властивості та аналіз проміжного результату.

↗
Чернетки та Production

Редагування, автозбереження, симуляція та публікація робочої версії.

↗
Запуск, перевірка та результати

Як читати статуси й не створювати дублікати після збою.

↗
Кнопка запуску на іншому сайті

Запуск потоку з корпоративного порталу: призначення, підключення за посиланням, статуси та інтерактивний майстер.

↗
Розклади та автоматичні завдання

Запуск за часом, інтервалом або зміною джерела.

↗

Джерела й конектори

Джерела файлів та діапазони

Як перетворити файл на стабільну таблицю для потоку.

↗
Менеджер файлів

Керовані файли, версії, папки та параметри зберігання.

↗
Віддалені файлові сховища

Налаштування Google Drive, OneDrive, S3, FTP/FTPS та мережевого диска.

↗
Робота з підключеннями

Спільна процедура створення, перевірки й використання доступу до сервісу.

↗
Читання й запис до баз даних

Таблиці, запити, ключі та режими додавання й оновлення.

↗
REST API та OData

Ресурс, формати, сторінки відповіді й передавання рядків.

↗
Microsoft Dynamics 365

Налаштування підключення, обов’язкові поля та правила використання.

↗
1С:Підприємство 8 (локальний сервер)

Налаштування підключення, обов’язкові поля та правила використання.

↗
Microsoft SQL Server

Налаштування підключення, обов’язкові поля та правила використання.

↗
Azure SQL Database

Налаштування підключення, обов’язкові поля та правила використання.

↗
Oracle Database

Налаштування підключення, обов’язкові поля та правила використання.

↗
IBM Db2

Налаштування підключення, обов’язкові поля та правила використання.

↗
PostgreSQL

Налаштування підключення, обов’язкові поля та правила використання.

↗
MySQL / MariaDB

Налаштування підключення, обов’язкові поля та правила використання.

↗
ClickHouse

Налаштування підключення, обов’язкові поля та правила використання.

↗
Redis

Налаштування підключення, обов’язкові поля та правила використання.

↗
Джерело даних ODBC

Налаштування підключення, обов’язкові поля та правила використання.

↗
REST API (довільний HTTP-сервіс)

Налаштування підключення, обов’язкові поля та правила використання.

↗
Електронна пошта (SMTP)

Налаштування підключення, обов’язкові поля та правила використання.

↗
Telegram-бот

Налаштування підключення, обов’язкові поля та правила використання.

↗

Налаштування API

API: три напрями обміну

Як обрати напрям API, підготувати доступ, опублікувати потік і перевірити повний цикл обміну.

↗
Приймання даних і файлів через API

Налаштуйте вхідну точку, перевірку полів, Production-потік, ідемпотентність і відстеження доставки.

↗
Читання та надсилання до зовнішніх API

Налаштуйте REST-підключення: автентифікацію, розбір відповіді, сторінки, пакетний запис і контроль повторів.

↗
Видача даних потоку через API

Опублікуйте набір даних із фільтрами, сторінками, контролем актуальності або запуском на запит.

↗
API-клієнти, ключі та підпис запитів

Надайте зовнішній системі контрольований доступ до потоків і перевірте ключ, HMAC та права.

↗
Технічна документація та перевірка API

Сформуйте актуальну довідку точки з її налаштувань, передайте інтегратору доступ і перевірте контракт.

↗

Налаштування Agent

UBC Data Bridge Agent: початок роботи

Як з’єднати UBC Data Bridge з ресурсами закритої мережі, зареєструвати Agent і контролювати його доступ.

↗
Agent у Windows: встановлення та налаштування

Покрокове встановлення служби Windows, безпечна реєстрація, доступ до папок, перевірка й оновлення Agent.

↗
Agent у macOS: встановлення та налаштування

Встановлення Agent на Mac, реєстрація, права службового облікового запису, мережеві томи та контроль оновлень.

↗
Agent у Linux: встановлення та налаштування

Як підготувати Linux, підключити Agent до Data Bridge, надати доступ до папок і перевірити роботу служби.

↗
Agent: ресурси, права та мережа

Налаштуйте дозволені папки, бази даних і API, проксі, сертифікати та маршрут між Agent і Data Bridge.

↗
Agent: діагностика та усунення несправностей

Як знайти причину відмови Agent, перевірити мережу й дозволи, безпечно повторити операцію та підготувати дані для підтримки.

↗

Блоки та перетворення

Довідник блоків конструктора

Блоки обробки, взаємодії, викликів потоків, API та доставки результатів.

↗
Файл

Читання зареєстрованого файлового джерела або запис у його діапазон.

↗
Підключення

Єдиний блок для бізнес-систем, баз даних, файлових сховищ і зовнішніх API.

↗
Упорядкування та приховування полів

Залишає потрібні поля, змінює їхній порядок і назви.

↗
Розгортання колонок (Unpivot)

Перетворює широку таблицю періодів на рядки «період — значення».

↗
Мапінг колонок

Будує нову таблицю з вибраних колонок і сталих значень.

↗
Фільтрація

Залишає рядки, що відповідають заданим умовам.

↗
Групування

Об’єднує рядки за ключами та обчислює підсумки.

↗
Параметри запуску

Форма користувача та сталі значення для керування виконанням.

↗
Об’єднання (Union)

Додає рядки кількох таблиць в один набір.

↗
З’єднання (Join)

Додає поля інших таблиць за спільними ключами.

↗
Дедублікація

Залишає потрібне входження кожного ключа або тільки неповторювані ключі.

↗
Маршрутизація

Розподіляє рядки між умовними гілками, зокрема за даними довідника.

↗
Розгалужувач

Передає всю таблицю одночасно в кілька гілок.

↗
Розрахункові поля

Додає обчислення для чисел, тексту, дат та умов.

↗
Вибір файла під час виконання

Сумісність зі збереженими потоками, які завантажують файл у цьому кроці.

↗
Перегляд даних

Контрольна таблиця під час виконання та завершення гілки без запису.

↗
Вивантаження даних

Створює файл Excel, CSV, TXT, JSON, XML або SQLite.

↗
Перетворення тексту

Послідовне очищення та уніфікація текстових полів.

↗
Унікальний ідентифікатор

Додає GUID, Snowflake або порядковий номер.

↗
Формат чисел і дат

Розпізнавання, нормалізація та форматування чисел і календарних значень.

↗
Очищення та контроль даних

Правила заміни, відхилення рядків і зупинки при помилках якості.

↗
Доповнення однорядковою таблицею

Додає показники одного службового рядка до кожного рядка основної таблиці.

↗
Транспонування рядків і колонок

Міняє місцями рядки та колонки таблиці.

↗
Повідомлення

Показує сповіщення або діалог у користувацькому виконанні.

↗
Вибір варіанта

Ручне рішення користувача, яке активує одну гілку.

↗
Злиття гілок

Продовжує одну з альтернативних виконаних гілок.

↗
Встановлення значень полів

Умовно змінює наявні поля та додає нові.

↗
Лист електронною поштою

Надсилає листи через налаштоване поштове підключення.

↗
Повідомлення в Telegram

Надсилає повідомлення та вкладення через бота.

↗
Роль і користувач

Додає актуальні значення ролі та користувача UBC Analytics.

↗
Каталог функцій формул

Усі функції з контракту наданої версії: сигнатури, призначення та приклади.

↗
Переміщення файлів

Копіювання й переміщення файлів та папок між Менеджером файлів і підключеними сховищами.

↗
Маршрут за способом запуску

Окремі гілки для ручного запуску, вхідного API та кнопки Workspace.

↗
Виклик потоків

Запуск Production одного або кількох інших потоків із параметрами й передаванням даних.

↗
Прийняти дані від потоку

Вхід підпотоку або процесу, якому інший потік передає таблицю.

↗
Виклик потоку

Повторно використовуйте потік як функцію: таблиця на вході, оброблений результат на виході.

↗
Передати дані в потік

Оголошений вихід, результат якого повертається до блоку виклику підпотоку.

↗
Вхідні дані API

Блок-джерело для даних і файлів зовнішнього запиту: формати, поля, ключі, перевірки та симуляція.

↗
Видача даних API

Блок завершення гілки, який публікує результат потоку з параметрами, фільтрами та режимом запуску.

↗

IBM Planning Analytics

IBM Planning Analytics: можливості інтеграції

Як UBC Data Bridge працює з TM1, які об’єкти доступні та як обрати сценарій інтеграції.

↗
Створення та перевірка підключення TM1

REST-адреса, мережевий доступ, сертифікат і п’ять способів автентифікації.

↗
CAM, SSO та власний сеанс користувача

Як пов’язані вхід у UBC Data Bridge, Cognos і робота в TM1 зі своїми правами.

↗
Корпоративний вхід і фонові запуски

Збережений обліковий запис для автоматичних потоків, шлюз Cognos та обмеження входу.

↗
Читання кубів і спільних подань

Параметри джерела IBM, структура вихідних колонок, підсумки й обмеження обсягу.

↗
Виміри, ієрархії та атрибути

Як вивантажити довідник IBM зі структурою, вагами та повторними входженнями елементів.

↗
Підмножини та параметри елементів IBM

Вибір елемента виміру у формі запуску й використання значення в отримувачах.

↗
Зіставлення рядків із комірками TM1

Виміри, константи, таблиці відповідностей, псевдоніми та обробка повторних координат.

↗
Запис у куб: перевірка, пакети, результат

Що перевіряється перед записом і як працювати з підтвердженим або невизначеним результатом.

↗
Очищення куба та транзакційне додавання

Додавання, заміна, контрольоване очищення та зміна куба за подією збереження форми.

↗
Процеси TurboIntegrator та автоматизація

Вибір TI-процесу, параметри, симуляція, статус IBM і відмінність від Chores.

↗
Кнопка запуску в IBM Planning Analytics Workspace

Підключення до книги за посиланням: налаштування Data Bridge і PAW, приклади стилю, статуси та майстер оновлення звіту.

↗

Адміністрування

Користувачі, ролі та права

Єдина модель доступу для локального входу, OIDC, IBM CAM і UBC Analytics.

↗
Інтеграція з UBC Analytics

Середовища, робочі області, форми, куби та кнопки запуску.

↗
Імпорт, експорт і перенесення

Як переносити потоки, джерела та підключення між середовищами.

↗
Діагностика та типові помилки

Від повідомлення про помилку до перевірки конкретного блоку.

↗
Ліцензування та стан установки

Активація, строк дії та перевірка працездатності системи.

↗
Про цю документацію

Як користуватися документацією UBC Data Bridge 2.1.1, прикладами та ілюстраціями.

↗

Приклади потоків

20 налаштованих потоків

Практичний маршрут від простого імпорту CSV до запису в IBM Planning Analytics.

↗
01. Перетворення CSV на JSON

Прочитати файл продажів із роздільником «;», залишити назви колонок і отримати JSON для наступної інтеграції.

↗
02. Excel: місяці з колонок у рядки

Підготувати широкий бюджетний шаблон Excel до завантаження в модель із виміром періоду.

↗
03. JSON: витяг масиву вкладених записів

Взяти масив data.items із JSON та створити плоский CSV з узгодженим порядком колонок.

↗
04. XML: каталог товарів до Excel

Вибрати повторювані елементи XML, використати атрибут id як код і записати каталог в Excel.

↗
05. Нормалізація кодів і усунення дублікатів

Привести коди товарів до одного написання й залишити останній запис для кожного коду.

↗
06. Послідовні правила якості

Виправити пропуски й від’ємні кількості, замінити помилки Excel та відкинути рядки з неприйнятним текстом.

↗
07. Виручка та підсумки за регіоном

Обчислити виручку кожного продажу й підготувати підсумкову таблицю за регіонами.

↗
08. Join: продажі з довідником цін

Приєднати до продажів ціну за числовим ключем і зберегти рядки, для яких ціни немає.

↗
09. Union: об’єднання даних філій

Скласти два набори продажів в одну таблицю за назвами колонок, навіть якщо їхній порядок відрізняється.

↗
10. Маршрутизація великих замовлень

Розділити замовлення на пріоритетні й звичайні за сумою, з окремим файлом для кожної гілки.

↗
11. Маршрутизація за довідником лімітів

Порівняти суму заявки з персональним лімітом підрозділу, а не з однією константою для всіх.

↗
12. Фільтр із параметром запуску

Дати користувачу змогу вибрати регіон і мінімальну суму без редагування самого потоку.

↗
13. SQL: вибірка відкритих замовлень

Прочитати обмежений набір записів SQL за одним запитом SELECT та створити контрольний CSV.

↗
14. SQL: upsert довідника товарів

Оновити наявний товар за ключем sku і додати відсутній товар до навчальної SQL-таблиці.

↗
15. REST API: замовлення з відповіді JSON

Прочитати ресурс API, витягти масив data.items, залишити відкриті замовлення й сформувати Excel.

↗
16. IBM Planning Analytics: експорт спільного подання

Прочитати спільне подання куба IBM Planning Analytics та передати його у табличний звіт.

↗
17. IBM Planning Analytics: бюджет з Excel у куб

Розгорнути місяці бюджетного Excel та записати чотири значення в навчальний куб із явним мапінгом усіх вимірів.

↗
18. IBM Planning Analytics: запуск TurboIntegrator

Запустити один навчальний TI-процес із фіксованим роком і сценарієм, вибраним у майстрі виконання.

↗
19. Ручний вибір сценарію та злиття гілок

Дати оператору вибір погодити або відхилити набір заявок і після вибраної дії повернутися до спільного експорту.

↗
20. Сповіщення про винятки електронною поштою та в Telegram

Знайти замовлення з від’ємною сумою та надіслати контрольній групі стислий звіт двома каналами.

↗
Збільшена ілюстрація