Treasure Data利用でデータ受付サーバをなくせるか!?

Treasure Data利用でデータ受付サーバをなくせるか!?

ソフトバンク・au・ドコモの方は、公式のオンラインショップを利用すれば頭金不要で通常のショップよりお得に購入できます。

一般的なDMPサービスでは、データの素となる情報をクラウド上サーバで受付し、そのデータを別のクラウド型データマネジメントサービスに飛ばすことによって、実際に“使えるデータ”に仕立ててあげる必要があります。

これをクラウド型データマネジメントサービスに直接データを送り込み、その場で“使えるデータ”に仕立てることができないものかと常日頃考えていました。

今回はクラウド型データマネジメントサービスの雄、『Treasure Data』にある「Javascript SDK」を用いて、“直接登録・そのまま運用”作戦を実行すべく、リサーチをしてみることにしました。

結論から先に言ってしまうと、Treasure Data上のHiveのバージョンが対応していなかったため、「直接登録不可」いう結果に至ってしまいましたが、今回の調査を無駄にしないためにも、共有がてらにご報告いたします。

今回の課題

現在考えられる課題は以下の2点です。

  • クエリパラメータの暗号化
  • どの程度受けられるのか?

クエリパラメータの暗号化

httpからのリクエストもあることを想定し、クエリパラメータの一部を暗号化に。
できれば現在の水準であるAESを導入したい。

どの程度受けられるのか?

気にはなりますが、これは受付側であるTreasure Dataの仕様依存のため、
今回の調査からは除外。

クエリパラメータについては、javascriptでの暗号化データをTreasure Dataで復号化することが可能なのであれば、本課題は問題ないものと考えています。

確認方法とその調査結果

javascriptの暗号化については「crypto-js」を用いてみました。
下記はWEB上にあったサンプルで調査確認したものです。

まずは『js -> js』は確認ができたので、下記コードを入れることでTeasure Dataに登録してみました。

しかし、ここで先にお伝えしたとおり、Hiveのバージョンに「aes_decrypt」が無いことが発覚。
泣く泣く断念した次第です……。

自身の失敗すらDMP化! 未来の資源にすべく、失敗を繰り返そう!!

WEBサーバのアクセスログで取得できるような情報は一通り入っている仕様だったので、『Treasure Date』単体での運用は現実的なものと捉えていました。実際、そういったアタリがあったからこそ今回の検証はスタートしたわけです。

『Treasure Data』のみで取得できるログではユーザエージェントデータは取得されていませんでしたが、ブラウザ情報などは存在しているため、併せてJavascriptも取得してしまえば、欠落したユーザエージェント情報は補完できる状態でした。あと一歩、「おしい!」といったところです。

今回はあくまでも『Treasure Data』を用いた場合の実験に留まりましたが、DMPに限らず色々な実験と検証を繰り返し、今後のサービス展開に活かしたいところですね!

ソフトバンク・au・ドコモの方は、公式のオンラインショップを利用すれば頭金不要で通常のショップよりお得に購入できます。

【週刊bitWave】(メルマガ)始めました!

登録はこちらからメールアドレスを入力してお申込みください。

ご登録いただいたメールアドレスは 【週刊bitWave】の更新情報の配信にのみ使用します。

個人情報の取扱いに関しては、「プライバシーポリシー」をご確認ください。解除はいつでもこちらから行うことが可能です。

あなたにおすすめ

仮想環境で『Ansible』を使ってサーバ構築... 最近、サーバ構築を実施する必要がありました。 まずは仮想環境を作り、サーバ構築を……と思ったのですが、私はインフラ周りの経験が浅く、色々困ったことが頻出してしまいました。 今回の記事では、私と同じような “サーバ構築ビギナー” ...
内線電話用の番号検索|Slack APPで作ってみた... ショーケース・ティービーではメール誤送信防止という観点から、社内連絡ではチャットツールを使用しています。 現在使用しているツールは「HipChat」。 <bitWave関連記事『情報漏えいしないための決定打!”Hip Chat”』>...
Amazon EC2|Red Hat Linux 7.3で“Muninインストール“や“パッケージ導... ナマステ~! 私はナラヤンです! 今回が初投稿になるのですが、実はこれまで何度か本bitWave上でも登場していました。 <bitWave関連記事『おもてなしの企業の社員が、ネパール人をおもてなししてみた!』> <bitWave関...
継続的インテグレーションツール『Jenkins』を触ってみた... こんにちは。M.Sです。 現在、『Jenkins』からSeleniumを実行するお題に取り組んでいます。 『Jenkins』ってなに? 身近な継続的インテグレーションとは 『Jenkins』はjavaで実装されたオープンソー...