ブログ

金融機関のCDOの役割の進化およびそれによるデータ管理方法の変化についてご紹介します。

MarkLogicのOptic APIを使うと、周りの世界のセマンティック情報を活用することで検索をよりスマートにできます。具体的なチュートリアルもご紹介。

AWS Glue用MarkLogicコネクタにより、MarkLogicデータハブに対するデータの読み込み/エクスポート用データパイプラインの構築がシンプルになります。

Apache Spark用MarkLogicコネクタは、データ読み込みに関するすべてのSparkライブラリへのアクセスとMarkLogic内のデータに対する複雑な分析処理を実現します。

エンタープライズサーチソリューションの選定基準や、組織固有のニーズに基づいた開発におけるヒントをご紹介します。

拡大する金融規制要件に応えるため、トレーダーのコミュニケーションに関するマルチ構造データを統合する方法をご紹介。

MarkLogicをご利用頂いているお客様の中には、世界最大規模の金融機関がいくつかいらっしゃいます。これらの企業はすべて、データ管理や分析の作業をクラウドへ移行中あるいは移行を検討中です。これはビジネスアジリティの改善、インフラコストの削減、柔軟な拡張性などといった価値を評価いただいているからですが、運用上のリスクや規制への影響は必ず考慮する必要があります。 先日、私は投資事業のイベントInvestOpsのバーチャルパネルディスカッションに参加しました。その際、「金融機関がクラウドベースのソリューションを活用し透明性/規制報告/サービスの質を改善するためのベストな方法」について話し合いました。そのセッションの質疑応答の内容を、以下にまとめてみます。 金融機関がクラウド移行を検討する際の懸念事項にはどのようなものがありますか？ 多くの金融機関が抱えている一般的な問題として、すでに非クラウド環境に大規模なインフラが存在していることがあります。これを変更するにはお金がかかりリスクもありそうなので選択肢が減る可能性もあります。つまり既存のインフラで問題ないのに、なぜあえて移行するのかという疑問も出てくるということです。 もう1つの問題としてあるのは、金融機関は顧客の個人情報を大量に保有しているということです。このためこのような機密データをクラウドに移行するとセキュリティリスクが発生するのではないかという懸念があります。また、クラウドへコアとなるトランザクション処理サービスを移行する際のリスクもあると考えられています。クラウドソリューションには利点があるにも関わらず、金融機関での導入がなかなか進まないのは、このようなリスクが想定されていること、また多くのレガシーのオンプレミスシステムが業務を依然として回しているからでしょう。 この2年間ほど、お客様との話題のほとんどが、「一部の業務をオンプレミスやプライベートクラウドから、アウトソース（フルマネージド）のサービスプロバイダ環境に移行する」ことに関するものに変わってきています。しかし、すぐにクラウド環境に完全移行する企業はほとんどなく、大部分の企業はハイブリッド（混合型）のままでいるだろうと私は想定しています。 金融機関がクラウドに移行する際のベストなアプローチとはどのようなものですか？ 当たり前に聴こえるかもしれませんが、このパネルディスカッションではかなりの時間をクラウド移行の際のリスク、メリット、移行を成功させるためのベストなアプローチについて費やしました。登壇者全員が、クラウドコンピューティングのメリット（ビジネスのアジリティや効率性の改善）は、移行のリスクを大きく上回ると考えています。 こういったメリットを実現するために、以下のような主要アプローチが取り上げられました。 これまでの考え方を変えること。この議論から浮かび上がってきたポイントとして、組織の考え方を変えることが重要だということがあります。これは単に技術に関してだけではなく、達成される結果やメリットについても考え方を変えるということです。例えば、投資ライフサイクルの改善に必要なのはどのデータフローなのか、また改善の実現に利用可能なテクノロジーにはどのようなものがあるのか、などについてです。 まずデータハウスを整理すること。クラウド移行のベストプラクティスとして、移行前にシステム内のデータを確認しておく必要があるという話が出ました。ここでデータの統合および処理のメリットについてもしばらく議論しました。例えば、複数のシステムに存在するデータの重複を解消してすべてハーモナイズしておけば、クラウドに移行するデータの質を高いものにできます。クラウドへの移行は、データがどのような構造なのか、どのような処理がデータに影響を与えるのか、また組織がどのようにデータを活用している/活用すべきかについて考える機会を与えてくれます。 作業の移行計画を作成すること。もう1つのベストプラクティスは、既存のアプリケーションおよび処理を確認し、どれをいつどのようにクラウドに移行するのかを決めることです。クラウドへの移行は旅のようなものです。一回ですべてをクラウドに移行することはできません。ほとんどの顧客は、クラウドへの作業移行に関してバランスの取れたアプローチを取っています。この確認/評価期間において、セキュリティ、システム（コア/非コア）、ビジネス要件、アプリケーションの種類（分析/業務/トランザクション）について検討し、どれをいつ移行するのかについて判断します。 MarkLogicによるデータ統合のクラウドへの移行 クラウドへの移行は旅のようなものであり、全員にとって正しい1つのやり方が存在するわけではありません。すでに金融機関の多くのお客様が、MarkLogicのデータハブプラットフォームをオンプレミスあるいはプライベートクラウド環境で利用しています。それ以外の金融機関は、レガシー環境（ほとんどがメインフレーム）からオンプレミスのMarkLogicへの移行に取り組んでいます。また特定の業務をMarkLogicがクラウド上にホスティングしているデータハブサービスへと移行させている企業もいらっしゃいます。クラウドへの移行に関するあらゆる段階において、投資サービスビジネスにおける変革目標を達成するために、MarkLogicはテクノロジーだけではなくこれまでの知見・経験を提供してお客様をお手伝いしていきます。

以前のブログ「カスタマー360：先進的な企業がデータハブを利用する理由」では、情報ディスカバリーの加速、より優れたアプリケーションの短期間での開発、顧客エンゲージメントの改善などのためにデータハブが活用されていることをご紹介しました。 先日私は、保険組合ウッドメンライフのデータソリューション部長であるジョー・スタイン氏と話す機会がありました。その際、レガシーのメインフレームシステムからMarkLogicにデータを移行して組合員の全体像（360ビュー）が把握できるようになったこと、また最初のアプリケーションを6週間で本番稼働させた話などを伺いました。 ウッドメンライフについて、またデータプラットフォームのモダナイゼーション計画についてご紹介いただけますか？ ウッドメンライフ（Woodmen of the World生命保険組合）は、1890年に創設された非営利団体です。この組織は、家族、コミュニティ、国に対して共同で奉仕する米国全土の組合員に対してお返しを提供するものです。私たちの財務状況は長年にわたって安定しており、質の高い生命保険および退職者向け商品を提供しています。 デジタルトランスフォーメーションにも投資してきており、カスタマーエクスペリエンス改善に必要なデータの統合と活用に注力する主要戦略チームもあります。私たちは、このビジネス目標の達成にはデータインフラをモダナイズする必要があることに気付きました。つまりメインフレーム上の保険証書管理システムをリプレースする必要があるということです。今後時間をかけてメインフレームのシステムを引退させていきます。これにより、これらのシステムの保守費用もすべてなくなります。 私たちの目標は、すべての保険請求データをメインフレームから移行し、このデータを財務等のシステムと組み合わせることで、組合員の全体像（360ビュー）を得るというものです。 どのようなビジネス課題を解決しようとしているのですか？ 組合員のエクスペリエンス改善という目標を達成するには、複数システムからの顧客データを一元化し正確なものにする必要があります。これに業務部門がアクセスし、ユーザーが簡単に検索できるようにします。現在および過去の保険証書データを組織内の他の非構造化データと組み合わせることで、サービス提供、報告書作成、コンプライアンスなどの目的において、あらゆる組合員の保険情報をより簡単に発見できるようにします。 なぜMarkLogicを選んだのですか？ 私があるイベントでMarkLogicのプレゼンテーションを見て、「これはウッドメンライフで使えそうだ」と思ったのです。 私たちのシステムは部門ごとに分断されており、データを統合して全体像を得ることは困難です。このため自分たちが望むようなサービスを提供できないという問題を抱えていました。例えば、ウッドメンライフでは条件を満たした組合員に対して奨学金を提供しています。しかし、この対象者の特定がとても難しいのです。 ウッドメンライフではリレーショナル技術をたくさん利用しています。メインフレーム上のDB2や、他の場所にはSQLサーバーがあります。SQLサーバーでオペレーショナルデータストアを構築して、他のビジネスシステムやデータベースからの情報を統合しようとしましたが、やりたいことのほんの一部しか実現できませんでした。このシステムは複雑すぎて、サードパーティからの人口統計データに対応できませんでした。 現状はいかがですか？ MarkLogicの導入はシームレスに行えました。最初から最後まで、つまりPOCから最初の本番アプリケーションの稼働開始まで6週間でできました。すべて約束通りに進んだのは嬉しい驚きでした。新しいソフトウェアの開発は難しいことが多いですから。最大のハードルは社内の問題でした。私たちの技術サービス部門のスピードに他のみんなに追い付いてもらう必要がありました。 MarkLogicソリューションのコンサルタント、マイク・バールソンさんが担当してくれたおかげで今回の実装がスムーズに進んだと思います。彼は、MarkLogicがスタック内の他のテクノロジーとどのように関連しているのかについて理解していました。またプロジェクト用にコンサルティングを活用させていただいたことで、プロジェクトの立ち上げから本番稼働までを素早く行うことができました。 MarkLogicは、ビジネスユーザーが過去の全保険証書データや組織内の非構造化データ（PDFや画像）にアクセスするための基本的なUIを作ってくれました。 最初にこれを使った人たちは、この検索アプリケーションやUIにかなり感動していました。これまでのメインフレームのターミナル画面よりもだいぶ見た目が良いですから。 次のステップをお聞かせください。 MarkLogicのおかげで、ビジネスニーズに基づいたデータストアや検索の要件を容易に素早く拡張できるプラットフォームが準備できました。次のステップとしては、MarkLogicを使ってすべての業務部門（生命保険、年金など）の組合員データおよび業務データを統合したうえで、新しい外部データでエンリッチすることで、ビジネスのデジタルトランスフォーメーションや組合員エクスペリエンスの継続的な改善に必要な360ビューを実現したいと考えています。 さらに詳しく 私たちMarkLogicは、業務データのアセットをレガシーのメインフレームシステムからモダンなデータプラットフォームに移行する際の問題を理解しており、この問題の解決をお手伝いします。みなさまのデータドリブンなトランスフォーメーションの目標実現を加速するために必要なツールと専門スキルの両方を提供します。さらに詳しい情報については、「メインフレームからの移行」 や弊社webサイト jp.marklogic.com をご覧ください。

このシリーズの第1回めでは、エンタープライズサーチ＆ディスカバリーが企業の生産性とイノベーション、また次世代のインサイトエンジンへの進化における主要な促進要因であることを説明しました。 本投稿では、インサイトエンジンの構築・最適化において、データハブが適切なプラットフォームである理由を説明します。またリーダー企業がMarkLogicデータハブでインサイトエンジンを構築することで、ビジネスインテリジェンス/R&D/コンテンツの収益化を改善した例をご紹介します。 エンタープライズサーチ＆ディスカバリーにデータハブを使う理由 これまで多くの組織は、エンタープライズサーチシステム用のデータストレージや管理機能としてデータウェアハウスやデータレイクといったさまざまなテクノロジーに投資してきました。あるいはユーザーエクスペリエンスを向上させるために専用の検索ソフトを購入しましたが、行動へと繋がるような信頼性の高い情報をデータ利用者にうまく提供できませんでした。組織のあちこちに分断されている多様なデータソースや構造を統合しキュレーションするには、新しいアプローチが必要なことに多くの人々が気付き始めています。 データハブは、データアーキテクトやエンジニアによる既存/新規のあらゆるデータタイプやモデルの統合を加速できるプラットフォームです。また、情報の発見/インサイト/アプリケーション開発の改善に必要なキュレーション済みデータを安全に提供できます。きちんとキュレーションされガバナンスが効いたデータは、さらに高度なサーチ＆ディスカバリーアプリケーション（自然言語処理など）を成功させるための基礎となります。 データを適切にキュレーション（整理およびコンテキスト化）する現代的なプラットフォームがなければ、エンタープライズデータの専門家は、データを「検索可能」から「発見（ディスカバリー）可能」へ発展させることが困難です。上記のような方法でデータを変革することで、企業は「検索（サーチ）エンジン」を「インサイトエンジン」に変えられます。この2つはどのような点で異なっているのでしょうか。インサイトエンジンの基礎となるのは、以下のような特徴を持つ一元化されたデータプラットフォームです。 柔軟 – ユニバーサルインデックスで、読み込まれたあらゆる形式のデータに即座にアクセス 高い信頼性 – 完全なACID準拠により、データトランザクションの一貫性を確保 高速 – 結果を1秒未満で返す卓越したクエリパフォーマンス 拡張性 – ハイブリッドな処理環境において、データの種類/量/頻度が増加しても対応できたという実績 安全 – データベースレベルでのきめ細かいアクセス制御 スマート – メタデータおよびセマンティックデータの統合によりデータのエンリッチとコンテキスト化を実現することで、意味のある結果をより短期間で提供 今使用しているサーチ＆ディスカバリーアプリケーションが、これらの機能を備えたプラットフォームからのデータを利用していない場合、新しいものへとアップグレードすべき時期かもしれません。 さらに困難な問題への回答を改善：MarkLogicでサーチ体験を現代化 MarkLogicデータハブプラットフォームは、市場において最も柔軟かつ信頼性の高いNoSQLデータベースに基づいています。これには、あらゆるエンタープライズデータに対する統合/キュレーション/アクセスの包括的な機能が備わっており、大規模拡張時にも業務および分析のアプリケーションを実行できます。 その中核には検索エンジンが装備されているため、ユーザーは標準的クエリ用のインデックスの構築や設定にかける時間や手間を大幅に減らせます。他のデータベースのように全文検索用に検索エンジンを別途組み合わせる必要はありません。これはデータ統合において極めて便利です。というのも読み込み後、データにすぐにアクセスでき、キュレーションプロセスの時間を節約し、統合済みデータに対して複雑なクエリができるからです。 「別々のソースからのデータをまとめるというニーズは近年拡大していますが、MarkLogicは、ユニークなアプローチでこれに対応します。ユニバーサルインデックスを使用して、リモートデータを取得する前にクエリとアクセスを最適化しておくことで、低速接続時に取得するデータの量を減らし、パフォーマンスを向上させます」 ガートナー「クラウドデータベース管理システム」マジック・クアドラント（2020年11月） MarkLogicは、一元化された統合データプラットフォームとしてこういったさまざまな機能を提供することで、他のエンタープライズサーチ用データ統合プラットフォームとは一線を画しています。次のような機能を提供しています。 マルチモデルアプローチにより、あらゆる種類のデータに無制限に対応 新規データの読み込み時のリアルタイムアラート。アラートの数は無制限 洗練されたインデックスにより、即座に検索可能 多言語での読み込みとクエリ 辞書ベースのエンティティ抽出およびエンリッチ 複雑かつ変化し続けるセマンティック（意味的）な関係性を表現 データとメタデータを一緒に格納することで、リネージおよびガバナンスを実現 複数のクエリタイプおよびsearch APIをサポート 弾力的な拡張・縮退により、企業全体の大量データに対応 安全なデータ共有のための、堅牢なガバナンスおよび容易なデータアクセス Webベースのクエリの作成・管理ツール クラウドネイティブのユーザーインターフェイスによるアジャイルなデータ統合 MarkLogicのユーザーはこういった機能を利用することで革新的なサーチ＆ディスカバリーアプリケーションを構築し、生産性向上やコンテンツ収益化を実現しています。 カスタマー成功事例 幸いにも、新しいソリューションや高度なアプリケーションにおけるデータハブの価値を理解している前向きなお客様がいます。「サーチ（検索）」はMarkLogicの中核的機能なので、MarkLogicを使用している企業ならば誰でも「サーチのサクセスストーリー」がありますが、ここでは3つご紹介します。 実験によるイノベーション：文献ラボの構築 生産性と成果を改善するために、アッヴィは社内文献管理・共有ツール「PubLab」を構築しました。これは情報セキュリティ、コンテンツ統合、カスタム機能開発に関して、外部のツールよりもいくつかの点で優れています。アッヴィは、MarkLogicの機能を活用して、機械学習、自然言語処理、視覚化、分析、および社内の各部署にサービスを提供する新しいフロントエンドによってシステムを強化しています。 クラウドデータハブによりフラッグシップ商品を強化 IEEEは、テクノロジーの向上を目的とした世界最大の技術者組織です。160か国に41万9000人の会員がいます。その出版部門は長年にわたってフラッグシップ商品であるIEEE Xplore®にMarkLogicを活用しています。これはセマンティック技術を使用して、500万件の記事と10億件の関連ファクトに含まれる情報を発見可能にしています。 迅速かつ正確な診断で自動車修理工場の顧客をハッピーに Mitchell 1は数億件の修理依頼を統合し、包括的な修理情報を数秒で提供します。Mitchell […]

本ブログは、エンタープライズサーチ＆ディスカバリーの技術を説明し、そのユースケースをご紹介します（全2回シリーズの第1回）。 社員の多くがテレワークをしている現在、業務に必要な情報に容易かつ効果的にアクセスしたいというニーズはこれまでにないほど大きくなっています。データソースが爆発的に増加しているなか、残念ながら多くの組織のエンタープライズデータアーキテクト、アナリスト、エンジニアにとって、流入するデータを迅速かつ正確に処理することは楽になっていません。 ある調査によると、データの検索およびディスカバリーを優先している企業は生産性が高く革新的です。しかし、サーチ＆ディスカバリーの強化に関してどの方法を選択するのかによって、企業の成功が重大な影響を受ける可能性があります。 本投稿では、エンタープライズサーチ＆ディスカバリーを定義し、社員の生産性およびイノベーションにおけるその重要性を確認し、最も一般的なユースケースをご紹介します。 エンタープライズサーチ＆ディスカバリーの定義 エンタープライズサーチとは： あらゆる形式の必要な情報をあらゆる場所（データベース/ERP/CRM/ドキュメント管理システムなど）から探せるように、組織が提供するもの 組織内のコンテンツを特定し利用可能にするための、インデックス/クエリ/許可済みユーザーへの表示の方法 インサイトや生産性を向上させたいデータ利用者をサポートする重要なツール データのサーチ（検索）とディスカバリーは、相互に関連していますが別のものです。サーチとは「あなたが情報を探す」こと、ディスカバリーとは「情報があなたを探す」ことです。例えば、エンジンの部品を検索している場合、検索アプリケーションが役に立つ追加の関連情報（マニュアルやグループ掲示板など）をディスカバリー（発見）してくれます。インテリジェントなコンテンツディスカバリーシステム（別称「インサイトエンジン」）は、単なる検索アプリケーションではなく、通常は結果改善のために組織がデータの統合およびキュレーション方法を変更する必要があります。  インサイトエンジンは、検索とAI技術を結合し、複数のデータサイロに対してインテリジェントなサーチができるように拡張したものです。 セマンティックや機械学習の要素を統合することで、ナレッジのディスカバリーと確認を強化しています」 Marydee Ojala、Information Today社 企業パフォーマンスにおけるサーチ＆ディスカバリーのインパクト  検索エンジンは、社員が必要とする時/場所/方法で関連情報を提供します。必要な手間を最小化することで、ビジネス価値を最大化できます」 Gartner – Improve Search to Deliver Insight サーチ＆ディスカバリーはイントラネットやエンタープライズサーチシステムの出現によりかなり発展しましたが、実際には社員は依然として欲しい情報を見つけるのに苦労しており、検索に満足していません。データソースの数やデータ量が増え続けている状況において、この問題も拡大してくでしょう。 IDGは、2025年までに世界のデータ量が163ゼタバイトになり、その80％が非構造化データであると推定しています。データの統合およびガバナンスにおいて現代的なアプローチがない場合、企業は社員に対して最高の検索体験を提供できないことになってしまいます。サーチ＆ディスカバリーに関する制約をなくせれば、生産性とイノベーションに関してビジネスパフォーマンスを大きく改善できます。 サーチ＆ディスカバリーを改善することで社員の生産性を促進 あなたの会社の社員は、仕事中にデータや情報を探すためにかなりの時間を費やしていないでしょうか。RingCentralの研究によると、必要な情報を探すために社員がアプリケーション、フォルダ、データベースをいったりきたりすることで1年あたり1か月分（32日）の時間が無駄になっています。またあまり気がつかないことかもしれませんが、生産性の停滞により企業が受ける財務的コストも重大である可能性があります。最適化が不十分なサーチ＆ディスカバリーのせいで十分な結果が得られない場合、低い生産性/作業の重複/社員の離職などにより 企業に数億円単位の損失がもたらされる可能性があるのです。 イノベーションに必要なインサイトを加速 社員が適切なデータに適切な時にアクセスできると、インサイトやイノベーションが促進されます。またプロジェクト予算に関して経営陣がタイムリーな意思決定ができます。サーチ＆ディスカバリーおよび他の開発/イノベーションプロジェクトに使われる金額を考慮すると、企業は最適なサーチ＆ディスカバリーシステムに投資して結果を最大化し、競争力を高める必要があります。 エンタープライズサーチ＆ディスカバリーのユースケース 業界を問わず、企業はサーチ＆ディスカバリーによって組織内の問題を解決したりチャンスを生みだしたりできます。エンタープライズサーチ＆ディスカバリーの一般的な使用例として以下のようなものがあります。 研究開発（R＆D） 企業における素晴らしいイノベーションはすべて効果的なR&Dプロセスに裏打ちされています。こういったR&Dプロセスを強化できるのが、データのサーチ＆ディスカバリー用に最適なシステムでありその活用です。強化されたサーチ＆ディスカバリーの活用事例であるリサーチハブは、ライフサイエンス、製造業、投資サービスにおける商品/製品開発の改善に使用されています。 社内リサーチ 生産性の改善とは、即ち業務遂行のために一元化され行動に結びつくようなデータにアクセスできるということです。新しい規制要件やアドホックな要求に対する社内リサーチを実行する際には、コンプライアンスが要求され、正確かつ最新のエンタープライズレベルのデータにアクセスする必要があります。 また人事の分野において、組織のアジリティ促進と生産性およびイノベーションの向上に必要な分析を改善するために、より優れたデータアクセスが求められています。 コンテンツパブリッシング ほとんどの業界において、企業はセールス/マーケティング/サービス用に外部コンテンツを提供しています。メディア業界などのいくつかの企業では、業績拡大のために自社コンテンツのマネタイズが必須です。こういった企業では、素早くデータのサーチ＆ディスカバリーを行い、顧客用に差別化されたコンテンツをキュレーションすることが極めて重要です。 次回予告 次回は、サーチ＆ディスカバリーアプリケーションを構築するにあたって、データハブが適切なプラットフォームである理由を説明します。また一流企業がMarkLogicデータハブを導入することで最高のサーチ＆ディスカバリーソリューションを構築した方法をご紹介します。