Vertica 9.3.1のリリース

  • hibikihibiki｜

Vertica 9.3.1がリリースされました。

本リリースは9.3のサービスパックの位置づけになります。みなさまからのフィードバックに基づいた多くの修正点および改善点を含んだリリースとなっています。

主な新機能および変更点は以下の通りです。

バックアップ・リストア・リカバリ・レプリケーション

Eon Mode on-premiseのサポート

Eon Modeのデータベースはクラウド上（AWS）またはオンプレミスのどちらでもお使いいただけます。Eon Mode on-premiseのバックアップ先としてAWSまたはPure Storage FlashBlade applianceのどちらでも選べるようになりました。フルバックアップ, フルリストア, フルバックアップを用いたオブジェクトリストアのいずれもお使いいただけます。

データベース設定

入力されたパラメータ値のチェックの厳格化

このリリースより、Verticaはデータベースの設定パラメータの入力値をより厳格にチェックします。
今までのリリースでは、設定パラメータの入力値の最後に無効な値をしても設定することができました。例えば、MaxClientSessionsパラメータに50.83や42plusといった値を指定した場合、Verticaは入力値の最後についた無効な部分を外して設定していました。今後はUnsigned 32bit Integerとしての有効な形式かを確認し、無効な形式の場合はエラーを返します。

フレックステーブル

Avro ParserのDeflate圧縮のサポート

favroparserがDeflate圧縮をサポートします。これにより、Deflateコーデックで圧縮されたAvroファイルのデータをフレックステーブルにロードできるようになります。

Kafka

9.3.1のKafka integrationはKafka 2.2.1, 2.1, 2.0を用いてテストされています。

機械学習

二値k平均法（Bisecting K-means）の追加

二値k平均法（Bisecting K-means）のアルゴリズムを用いたデータのクラスタリングをサポートします。次のファンクションが追加されます。

  • BISECTING_KMEANS
  • APPLY_BISECTING_KMEANS

Parquet Export

EXPORT TO PARQUETのログのUDX_EVENTSへの出力

これまではEXPORT TO PARQUETはVerticaのログファイルにログを出力していました。今後はUDX_EVENTSシステムテーブルにもログが出力されるようになり、すべてのNodeの情報を一度に確認できるようになります。

Google Cloud StorageへのExport

EXPORT TO PARQUETのExport先としてGoogle Cloud Storageを指定することができるようになります。動作要件はAWS S3と同様です。Authentication Tokenを設定パラメータに指定します。データは指定されたディレクトリに直接Exportされます。

Partitioning

Null値の制御のサポート

Partition句でZEROIFNULLファンクションの使用がサポートされます。このファンクションはPARTITION BYで指定された値を確認し、Null値の場合は0として判断します。

Projection

Top-K Projectionの操作

Top-K Projectionを持つテーブルに対して次の操作ができるようになります。

  • DELETE
  • UPDATE
  • MERGE

Top-K ProjectionのREFRESH

Top-K Projectionを持つテーブルに対して次のメタファンクションを使用できるようになります。

  • REFRESH
  • REBUILDモードでのREFRESH_COLUMNS

SQLファンクションとステートメント

S3EXPORTのNull値の制御

S3EXPORTにNULL_ASパラメータが追加され、Null値をどのようにExportするか指定できるようになります。このパラメータが指定された場合、S3EXPORTはすべてのNull値を指定された文字列に置き換えてExportします。

メタファンクション GET_PRIVILEGES_DESCRIPTION の追加

データベースオブジェクトの権限はGRANT, Role, 継承などさまざまな設定を基に決定されており、モニタリングが難しくなっています。これを解消するためにGET_PRIVILEGES_DESCRIPTIONメタファンクションが追加されます。このファンクションは指定されたデータベースオブジェクトの有効な権限を確認できるビューを提供します。

Parquetデータのヘルパーファンクション

GET_METADATAファンクションは指定されたParquetファイルを確認し、COLUMN, ROW GROUP, SIZEといったメタデータを取得し、表示します。この情報を、外部テーブルの定義の際やVerticaからExportされた結果の確認にお使いいただけます。

INFER_EXTERNAL_TABLE_DDLファンクションは指定されたParquetファイルを確認し、外部テーブルの定義（CREATE EXTERNAL TABLE AS COPY文）を出力します。このファンクションは多くのカラムを持つテーブルを定義する際に役立ちます。いくつかのデータ型は推測することができない場合があるので、このファンクションの出力結果を修正していただく必要があります。

テーブル列へのコメント

COMMENT ON COLUMNを用いてテーブル列にコメントをつけることができるようになります。

セキュリティと認証

SSLCAへの複数認証局の指定

SSLCAパラメータを用いて1つ以上の認証局を信頼することができます。

LDAP Dry Runメタファンクション

LDAP_LINK_DRYRUNからはじまるファンクション一式により、Verticaと同期する前にLDAP Linkの設定を確認することができます。それぞれのメタファンクションにLDAP Linkのパラメータを引数として渡すことで、LDAP Linkの一部を個別にテストすることができます。

  • LDAP_LINK_DRYRUN_CONNECT - LDAPサーバへの接続
  • LDAP_LINK_DRYRUN_SEARCH - LDAPユーザおよびグループの検索
  • LDAP_LINK_DRYRUN_SYNC - LDAPユーザおよびグループのマッピングと同期

これらのメタファンクションは連続して使用することを想定しており、引数は引き継がれます。例えば、LDAP_LINK_DRYRUN_CONNECTで使用したパラメータはLDAP_LINK_DRYRUN_SEARCHで使用され、2つのファンクションで使用したパラメータはLDAP_LINK_DRYRUN_SYNCで使用されます。

新しいLDAP Linkパラメータ

LDAP Linkの設定に新しいパラメータが追加されます。

  • LDAPLinkConfigFile - LDIFファイルのパスが指定された場合、LDAPサーバに接続せず、ファイルからユーザとグループの情報を読み込みます。
  • LDAPLinkTLSCADir - CA証明書ファイルの置かれたディレクトリが指定された場合、LDAPサーバへの接続にこのファイルを使用します。

Statistics

ANALYZE_STATISTICSのGlobal Temporary Tableのサポート

Global Temporary Tableに対してANALYZE_STATISTICSを実行することができるようになります。Local Temporary Tableと同様に、ON COMMIT PRESERVE ROWSオプションを指定して作成されたGlobal Temporary Tableに対してStatisticsを収集することができます。

データ型

Parquetを用いた外部テーブルでのARRAY型とMAP型のサポート

コンプレックスタイプを含むParquetファイルを使用する場合、プリミティブ型のARRAY型とMAP型を使った外部テーブルを定義でき、より広範囲のデータを読み込むことができるようになります。

ARRAY型に対するクエリ発行、Joinをはじめとする操作への使用、ARRAY型のカラムや値へのArrayファンクションの利用ができます。

MAP型を用いてそれを含むファイルを読み込むことができます。ただし、MAP型に対するクエリの発行はできません。

システムテーブル

MERGEOUT_PROFILESテーブル

MERGEOUT_PROFILESシステムテーブルはMERGEOUTの自動実行に関する情報を持ちます。これによりモニタリングやトラブルシューティングを行いやすくなります。

LOAD_SOURCESの新しいカラム

LOAD_SOURCESシステムテーブルに、ユーザ定義のLoadファンクションの所要時間（ミリ秒）を持つ次のカラムが追加されます。

  • CLOCK_TIME_SOURCE
  • CLOCK_TIME_FILTERS
  • CLOCK_TIME_CHUNKER
  • CLOCK_TIME_PARSER

LDAP Dry Runテーブル

LDAP_LINK_DRYRUN_EVENTSシステムテーブルにLDAP Dry Runメタファンクションの実行結果が格納されます。

UDX_EVENTSテーブル

UDX_EVENTSシステムテーブルはユーザ定義ファンクションから出力されたイベントを格納します。

Text Search

StringTokenizerDelimの最適化と変更

Preconfigured TokenizerのStringTokenizerDelimが最適化されました。また、動きに少しの変化も見られます。OVER()句に引数を指定しなかった場合、トークナイズされた値を持つ1つのカラムを返します。 以前は、元データを表示するカラムも返していました。以前と同じ動きにするにはOVER()句にPARTITION BYを指定してください。

admintools

create_dbの新しい動きとオプション

以前は、create_dbが失敗するとすべての操作をロールバックし、ログを削除しており、失敗の原因調査が難しくなっていました。今後は次の動きになります。

  • デフォルトの動きとして、create_dbが失敗した場合はログディレクトリを残す動きになります。
  • --force-cleanup-on-failureオプションはcreate_dbの失敗時にディレクトリを削除します。
  • --force-removal-at-creationオプションはデータベース作成前に既存のディレクトリを削除します。

その他の変更点についてはVertica 9.3.x New Features and Changesをご覧ください。是非、Verticaの最新バージョンをお試しください。

Premium Edition（製品版）のダウンロードサイト：https://support.microfocus.com/downloads/swgrp.html

Community Editionのダウンロードサイト：http://stg.vertica.com/download/vertica/community-edition

製品ドキュメント：http://stg.vertica.com/docs/9.3.x/HTML/index.htm

次のビッグイベントはVertica Big Data Conference 2020です。詳細は http://stg.vertica.com/bdc-registration/ をご覧ください。みなさまのご参加をお待ちしております。

タグ:
カテゴリ: