Frequently Asked Questions

Создание внешних таблиц с использованием PXF (Platform Extension Framework)

PXF (Platform Extension Framework) - представляет собой JAVA фреймворк, который позволяет Arenadata DB взаимодействовать с внешними системами. Фактически, PXF представляет собой серверный процесс на одном или нескольких хостах, который работает с сегментами Arenadata DB через REST API, наряду с этим взаимодействует с внешними системами через собственный API Java.

На текущий момент, PXF поддерживает четыре типа источников данных: HDFS, Hive, Hbase - официально и JDBC - в экспериментальном режиме.

Пример создания Readable External Table из ADB в HDFS:
CREATE EXTERNAL TABLE public.sample_hdfs_ro
(
id int,
sometext text
)
LOCATION ('pxf://default/myflatfile.csv?profile=HdfsTextSimple')
FORMAT 'TEXT' (DELIMITER = E'\,');
Пример создания Writable External Table из ADB в HDFS:
CREATE WRITABLE EXTERNAL TABLE public.sample_hdfs_rw
(
id int,
sometext text
)
LOCATION ('pxf://default/myfolder?profile=HdfsTextSimple')
FORMAT 'TEXT' (DELIMITER = E'\,')
DISTRIBUTED BY (id);
Пример создания Readable External Table из ADB в Hive:
CREATE EXTERNAL TABLE public.sample_hive_ro
(
id int,
sometext text
)
LOCATION ('pxf://default.sample_orc?PROFILE=Hive')
FORMAT 'CUSTOM' (formatter='pxfwritable_import');
Пример создания Readable External Table из ADB в HBase:
CREATE  EXTERNAL TABLE public.sample_hbase_ro
(
"basic:key" int,
"basic:sometext" real
)
LOCATION ('pxf://default/sample_test?PROFILE=hbase')
FORMAT 'CUSTOM' (formatter='pxfwritable_import');
Пример создания Readable External Table из ADB во внешнюю БД с использованием JDBC:
CREATE EXTERNAL TABLE public.sample_jdbc_ora_ro(
id int,
sometext text
)
LOCATION ('pxf://gpadmin.sample_test?PROFILE=JDBC&
JDBC_DRIVER=oracle.jdbc.driver.OracleDriver&
DB_URL=jdbc:oracle:thin:@//ora_host:1521/XE&
PASS=iddqd&
PARTITION_BY=id:int&
RANGE=0:100000&
INTERVAL=5000')
FORMAT 'CUSTOM' (FORMATTER='pxfwritable_import');


Last Updated 2 years ago

Arenadata

127018, Moscow
Skladochnaya St., 3, building 1,
Russia

support@arenadata.io

Please Wait!

Please wait... it will take a second!