2月 08

Hadoop / Spark Conference Japan 2016(2月8日、東京)講演・LTのプログラム・講演資料

日本Hadoopユーザー会主催イベント「Hadoop Conference Japan 2016」「Spark Conference Japan 2016」を2月8日に東京・品川区内で開催しました。

今回は、Spark Conference Japanをはじめて併催しました。Apache Sparkの主要開発者である Xin Reynold 氏(Databricks)をお招きして、次期バージョンSpark 2.0の最新情報をご紹介頂きました。 様々な講演者が集結し、技術トピックはもちろんのこと、Yahoo! Japan、さくらインターネット、niconico、ソフトバンク、ローソン、リクルートライフスタイル、IHI等によるHadoop / Sparkの事例・取り組みも紹介されました。また、皆様に投票にご協力頂いたライトニングトーク選定の結果にもとづき魅力的な22件に発表頂きました。

このほか、会場内では、Hadoopゾウさんの登場、きらきらシールの配布、Hadoop/Spark書籍の特別販売、ランチやドリンクなどのご提供などを実施しました。

イベントWebサイト: https://hcj2016.eventbrite.com/

hcj2016

▲懇親会での集合写真

イベントの様子等は次のページでも取り挙げて頂いています
・ Apache Hadoopの現在と未来。YARNもHDFSも新しいハードウェアに対応して進化していく (Publickey)
・ Spark 2.0はフロントエンドAPIの創設と10倍の性能向上を目指す。早くも今年の5月頃登場予定 (Publickey)
・ Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく (Publickey)
YARN、HDFS、そしてSparkの将来像とは:「Hadoop/Spark Con」基調講演 (ZDNet Japan)
変化の先にある進化,そして本当の浸透をめざすHadoopとSpark (Gihyo.jp)
先進ユーザーがリードするHadoop/Spark応用事例~Sparkで5倍の性能アップ~ (ThinkIT)
Beyond Hadoop ─Databricks共同創業者に訊くApache Sparkのポテンシャル (Gihyo.jp)
Hadoopは分散処理のプラットフォームになる~米Clouderaエンジニア (クラウドWatch)

 


■日時
2016年2月8日(月) 10:00~19:00 (受付開始 9:30)

■会場
きゅりあん (東京都品川区、大井町駅すぐ)

■主催
日本Hadoopユーザ会

■スポンサー(申込順)
リクルートテクノロジーズ、MapR Technologies、Cloudera、日本アイ・ビー・エム、Hortonworks Japan、NTTデータ

■プログラム

  Keynote
10:00 ご挨拶、Hadoopを取り巻く環境2016 [講演資料]
 濱野 賢一朗 (日本Hadoopユーザー会, NTTデータ)
Hadoopの現在と未来 [講演資料]
 鯵坂 明(Hadoopコミッタ)、小沢 健史(Hadoopコミッタ)
Yahoo! JAPANのデータプラットフォームの全体像と未来
 遠藤 禎士(ヤフー)
Hadoopのストレージの現状と展望 [講演資料]
 Todd Lipcon(Cloudera)
Spark Conference Japanの開催にあたって [講演資料]
 猿田 浩輔(Apache Sparkコミッタ)
Spark 2.0: What’s Next [講演資料]
 Reynold Xin(Databricks)
さくらインターネットが構築した、Apache Sparkによる原価計算システム
 須藤 武文(さくらインターネット)
  A会場
B会場
C会場
D会場
ランチ会場
ライトニングトーク
ランチ会場
ライトニングトーク
ランチ会場
Apache Spark 超入門 [講演資料]
猿田 浩輔(NTTデータ)
13:00 データドリブン企業における、Hadoop基盤とETL ~niconicoでの実践例~ [講演資料1] [講演資料2]
嶋内 翔(Cloudera)
志村 誠(ドワンゴ)
YARN: Resource Manager for Analytic Platform
小沢 健史(NTT)
ストリーミングアーキテクチャ: State から Flow へ [講演資料]
草薙 昭彦(MapR Technologies)
次世代アーキテクチャから見たHadoop/Sparkの位置づけ ~特にRDMA・NVMを軸としたときの分散並列処理の観点から
神林 飛志(ノーチラステクノロジーズ)
13:45 On-Premises Hadoopクラスタ構築の苦労体験と運用ノウハウ
松浦 晋(SoftBank)
関谷 雅宏(SoftBank)
KuduによるHadoopのトランザクションアクセスと分析パフォーマンスのトレードオフ解消 [講演資料]
Todd Lipcon(Cloudera)
リクルートライフスタイルの考えるストリームデータの活かし方 ~AWS + Kafka + Spark Streaming~ [講演資料]
車田 篤史(リクルートライフスタイル)
堤 崇行(NTTデータ)
ビッグデータ可視化の性能を徹底検証 ~SparkSQL、Hive on Tez、Hive LLAPを用いた既存RDBデータ処理の特徴~ [講演資料]
新郷 美紀(NEC)
蒋 逸峰(Hortonworks)
14:30 顧客事例から学んだ、エンタープライズでの”マジな”Hadoop導入の勘所 [講演資料]
立山 重幸(日本オラクル)
今あらためて考えるHive ~ユースケースの広がりにより顕在化した課題と対応~
吉田 耕陽(NTTデータ)
さくらインターネットが構築した、Apache Sparkによる原価計算システムの仕組みとその背景
須藤 武文(さくらインターネット)
Spark MLlib Now and Beyond [講演資料]
石川 有(リクルートテクノロジーズ)
15:15 基幹業務もHadoopで!! ~ローソンにおける店舗発注業務へのHadoop + Hive導入と、 その取り組みについて~ [講演資料]
須田 桂伍(フューチャーアーキテクト)
Hiveを高速化するLLAP [講演資料]
小澤 祐也(ヤフー)
Deep Dive into Project Tungsten [講演資料]
Reynold Xin(Databricks)
SparkによるGISデータを題材とした時系列データ処理 [講演資料]
鈴木 由宇(IHI)
土橋 昌(NTTデータ)
16:00 Maintainable Cloud Architecture of Hadoop [講演資料]
佐々木 海(Treasure Data)
Hadoop Security Recap: -セキュリティ関連の概要/近況のおさらいとLDAP/AD, Kerberos, Apache Ranger [講演資料]
今井 雄太(Hortonworks)
Exploiting GPUs in Spark [講演資料]
石崎 一明(日本アイ・ビー・エム)
Hive on Sparkを活用した高速データ分析 [講演資料]
加嵜 長門 (DMM.comラボ)
   懇親会・ライトニングトーク (17:00-19:00) - 参加費:2000円

 ■ ライトニングトーク

▼ランチタイム: A会場

  • いろいろなストリーム処理プロダクトをベンチマークしてみた [発表資料] (三木 健司, ヤフー)
  • 僕の考える最強のビックデータエンジニア [発表資料] (山田 雄, リクルートライフスタイル)
  • TensorFlowの分散処理技術とGoogleの機械学習プロダクト [発表資料] (佐藤 一憲, Google)
  • 金融機関でのHive/Presto事例紹介 [発表資料] (岩永 亮介, Amazon Web Services Japan)
  • サポートメンバは見た! Hadoopバグワースト10 [発表資料] (鯵坂 明, NTTデータ)
  • 本当にあったHadoopの恐い話~Blockはどこへきえた? [発表資料] (山下 真一, NTTデータ)

▼ランチタイム: B会場

  • 自動的なビッグデータ機械学習技術:Spark上で複数の学習アルゴリズムの自動選択が可能に [発表資料] (上田 晴康, 富士通研究所)
  • Apache Sparkを用いたスケーラブルな時系列データの異常検知モデル学習ソフトウェアの開発 [発表資料] (河原 亮, 日本アイ・ビー・エム)
  • JVM, OSレベルのチューニングによるSparkアプリケーションの最適化 [発表資料] (千葉 立寛, 日本アイ・ビー・エム
  • データサイエンスにおける一次可視化からのSpark on Elasticsearchの利用 (大木 基至, NTTコミュニケーションズ)
  • グラフデータベース事始め [発表資料] (中井 亮矢, 日本オラクル)
  • GunosyにおけるSpark Streaming活用事例 [講演資料] (森本 淳司, Gunosy)

▼懇親会

  • NetflixにおけるPresto/Spark活用事例 [発表資料] (岩永 亮介, Amazon Web Services Japan)
  • Fluentd and Kafka [発表資料] (Masahiro Nakagawa, Treasure Data)
  • スキーマつきストリームデータ処理基盤、Confluent Platformとは? [発表資料] (木村 宗太郎, ドワンゴ)
  • 5分で身に付く! Apache Hadoop開発 [発表資料] (鯵坂 明, NTTデータ)
  • NIIでいろいろなHadoop環境(だけじゃないけど)を作ったり壊したり動かし続けたりしている話 [発表資料] (谷沢 智史, ボイスリサーチ)
  • 運用作業の証跡も,再利用する手順の記述も,教材作成もLiterate Computingでやってみる [発表資料] (政谷 好伸, 国立情報学研究所)
  • Spark Streamingで作る、つぶやきビッグデータのクローン [発表資料] (野田 純一, GMOインターネット, 秋葉原IT戦略研究所)
  • Mesos/Hashicorpで実現するSparkの柔軟な実行環境 (木内 満歳, クリエーションライン)
  • Apache Sparkがリアルタイム分析でNOSQLのApache Cassandraに出会った。(ウルルン風) [発表資料] (原沢 滋, DataStax)
  • Apache Kylinについて [発表資料] (古山 慎悟, ヤフー)

続きを読む »

1月 30

Hadoop / Spark Conference Japan 2016のライトニングトーク候補の投票結果

Hadoop / Spark Conference Japan 2016のライトニングトーク企画に、多くの方から候補案をエントリ頂きました。会場や時間の制約のため、全員に発表頂くのは難しいため、投票により選定させてもらうことになりました。投票はWeb上のフォームを通じて、ひとり最大10件の候補を選択する仕組みで、2016年1月21日~1月27日に実施しました(全280件の投票)。

結果は次のグラフの通りとなり(PDF版)、42票以上を獲得した22件(ランチタイム12件+懇親会時 10件)の案を選定することになりました。エントリ頂いた皆さま、投票頂いた皆様、ご協力ありがとうございました。

イベント当日のライトニングトークのプログラムは、イベントページをご確認ください。

result_HCJ2016_LT

皆さんから提案頂いた案は次のとおりです。

続きを読む »

1月 29

日本で活動する岩崎さんがHadoopコミッタに就任

日本で活動する岩崎 正剛さん(株式会社NTTデータ)が、Hadoopのコミッタに就任したと発表されました。

以下は、メーリングリスト hadoop-general  でアナウンスされた内容です。

On behalf of the Apache Hadoop PMC, I am pleased to announce that Masatake Iwasaki has been elected as a committer on the Apache Hadoop project. We appreciate all of Masatake’s hard work thus far, and we look forward to his continued contributions.

Welcome Masatake!

コミッターはソースコードなどの変更などの権限を有する開発者のことです。これからの活躍が期待されます。

1月 18

【ご案内】 Hadoop / Spark Conference Japan 2016(2016/02/08)を開催します

Hadoop Spark Conference Japan 2016

Hadoop Conference Japanは、並列分散処理フレームワーク Apache Hadoop および周辺のオープンソースソフトウェアに関するイベントです。日本Hadoopユーザー会の有志によって運営されます。今回で6回目の開催となります。

今回は、Apache Spark に関するイベント Spark Conference Japan 2016 を併催します。

Hadoopや並列分散処理に興味のある技術者の方はご自由に参加頂けます。イベント終了後に懇親会を行います。併せてご参加ください。

日時: 2016年2月8日(月) 10:00~19:00 (受付開始 9:30)
会場きゅりあん (東京都品川区、大井町駅すぐ)
主催: 日本Hadoopユーザ会


■参加登録
参加される方は、イベントページより事前に登録をお願いします (参加費:無料)

1月 18

Hadoop / Spark Conference Japan 2016のスポンサー募集

2016月2月8日(月)に『Hadoop Conference Japan 2016』および『Spark Conference Japan』を東京・きゅりあん(品川区・大井町駅すぐ)で開催します。

Hadoop Conference Japan は2009年より開催しているApache Hadoopに関する総合イベントで、毎回1000名程度の皆様にお越しいただいています。今回は、Apache Sparkに関するイベント Spark Conference Japan をはじめて併催します。

本イベントのスポンサー企業を募集します。詳細は添付の資料をご確認ください。

Hadoop_Spark_Conference_Japan_2016_スポンサー案内(PDF)
HCJ2016スポンサー申込書(Word文書)
HCJ2016スポンサー申込書_記入例(PDF)

スポンサーをご希望の場合には、上記の申込書に記入(押印もしくは署名)したものをスキャンしてPDF形式としたものを hcj2016@hadoop.apache.jp 宛にお送りください。2016年1月22日(金) 17時をもって締め切らせて頂きます。 募集数(7社)に達した場合は早く締め切る場合があります。 → 締め切りました。応募頂きました6社の皆様、ありがとうございます。

1月 15

日本で活動する鯵坂さんと小沢さんがHadoopのPMCに就任

日本で活動する鯵坂 明さん(NTTデータ)と小沢 健史さん(NTT)が、Apache HadoopプロジェクトのPMC (Project Management Committee) に就任したと発表されました。

以下は、メーリングリスト apache-general でアナウンスされた内容です。

On behalf of the Apache Hadoop PMC, I am very pleased to announce the following folks have been elected as a PMC member on the Apache Hadoop project recognizing their sustained and significant contributions to the project:

– Akira Ajisaka
– Robert Kanter
– Tsuyoshi Ozawa
– Wangda Tan

 

PMCは、Hadoopの開発やメンテナンスにおいて、主要機能追加の決定やコミュニティメンバの推薦等、コミュニティの運営も担う主要開発者のことです。鯵坂さんと小沢さんの活躍がこれまで以上に期待さ れます。

1月 04

【募集】Hadoop / Spark Conference Japan 2016 の講演・LT・特別企画

2016月2月8日(月)に『Hadoop Conference Japan 2016』および『Spark Conference Japan』を東京・きゅりあん(品川区・大井町駅すぐ)で開催します。

Hadoop Conference Japan は2009年より開催しているApache Hadoopに関する総合イベントで、毎回1000名程度の皆様にお越しいただいています。今回は、Apache Sparkに関するイベント Spark Conference Japan をはじめて併催します

開催に先立ち、講演発表、ライトニングトーク発表、特別企画に関する募集を行います。ご協力いただける方、ネタやアイデアをお持ちの方は、ぜひご応募ください! 締め切りました。多数の応募、ありがとうございました。


■講演発表

本カンファレンスでは20件程度のプレゼンテーションをお願いする予定です。講演で発表いただける方を募集します。発表時間は35分で、講演内容は、
* Hadoop/Sparkやそのエコシステムに関する技術的な内容
* Hadoop/Sparkを活用した事例、取り組み
* 並列分散処理に関わる技術や事例
などを想定しています。

講演を希望される方は、
・講演タイトル案
・講演概要(300文字程度)
・講演者(氏名、所属)
・メールアドレス
・発表したいイベント(Hadoop Conference Japan、Spark Conference Japanの必ずいずれかを選択
・発表内容の全体感がわかる資料(PDF形式で2~3枚程度の文書・スライド等) ※
を電子メールで hcj2016@todo.ne.jp1月12日(火)までにお送りください。発表者を選定し採否をお知らせします。

※ 同一の講演候補者が複数の講演にご応募頂くことは歓迎しますが、1つの応募(講演)につき1通ずつメールをお送り頂くようお願いします。

※ 資料の形式は自由ですが、過去の実績では、「アジェンダ案+特徴的な説明事項のスライド(1~2枚)」をプレゼンテーションツールで作成し、PDF形式に保存したものが多いです。当日のプレゼンテーションにむけて具体的な発表内容を有しているかを確認させて頂くものです。できる限り、発表内容を具体的に示すものをご準備頂くようお願いします。

※ 原則は日本語でのプレゼンテーションですが、英語での発表を希望される方は、その旨を記載してください。運営側では通訳などの準備は行いません。通訳を希望される方は、発表者にて手配をお願いします。

本カンファレンスは、あくまでApache HadoopやApache Sparkを中心とした「オープンソースソフトウェア」を対象としていますので、商用ソフトウェアや特定サービスに閉じたテーマはご遠慮いただく場合があります。ご理解ください。

■ライトニングトーク発表

本カンファレンスでは、6~12件程度のライトニングトーク(LT)を実施予定です。発表時間は各5分です。 希望される方は、
・講演タイトル
・講演概要
・講演者(氏名、所属)
・メールアドレス
を電子メールで hcj2016@todo.ne.jp1月15日(金)までにお送りください。発表者を選定し採否をお知らせします。

■特別企画

カンファレンス内での企画を募集します。会場内での催しやノベルティ作成など、内容は自由です。アイデアをお持ちの方は、お早めに hcj2016@todo.ne.jp にご連絡ください。実現性の可否を検討させていただきます。過去の開催では、Hive Tシャツ、Hiveシールなどの企画が寄せられました。

採用された場合、実施に向けた調整に実行委員も協力させていただくとともに、当日の参加者に企画を紹介させていただきます。企画実施にあたり、実行委員も協力しますが、基本的には提案者の方が主体となって推進して頂けることを想定しています。あらかじめご理解ください。アイデアが採用された場合には、制作や実施に関わる費用は、可能な範囲で、主催で支援したいと考えています。

◆イベント概要

日本Hadoopユーザー会は、第6回目のカンファレンス「Hadoop Conference Japan 2016」を2月8日に開催します。Apache Hadoopやそのエコシステム、周辺の並列分散処理に関する技術や事例を一同に集め、多くの方が出会える場として企画を進めています。

今回は、Apache Sparkに関するイベント Spark Conference Japan をはじめて併催します。

名称: Hadoop Conference Japan 2016 / Spark Conference Japan 2016
日程: 2016年2月8日(月) 終日
会場: きゅりあん(東京都品川区・大井町駅すぐ)
主催: 日本Hadoopユーザー会

◆その他のお問合せ

ご要望やご意見などがありましたら
Twitter: @hamaken (濱野 賢一朗 / NTTデータ)
電子メール: hcj2016@todo.ne.jp
にご連絡ください。

12月 03

日本で活動する関さんがYetusコミッターに就任

日本で活動する関 堅吾さん(株式会社NTTデータ)が、Hadoopのテストフレームワークプロジェクト Apache Yetus のコミッターに就任したと発表されました。

以下は、メーリングリスト yetus-dev でアナウンスされた内容です。

On behalf of the Apache Yetus PMC, I’m absolutely thrilled to announce Kengo Seki as a committer (and the first since becoming a TLP!) to the Apache Yetus project.  Kengo has been working with Yetus for quite a while, having begun while it was still a part of the Apache Hadoop project.   With significant contributions all over the various tools, Kengo’s acceptance of the role is a fantastic addition to the community and we’re all very excited about it!

Please join me in congratulating Kengo!

コミッターはソースコードなどの変更などの権限を有する開発者のことです。関さんはYetusがHadoopプロジェクトから独立する以前からHadoopのテストフレームワークの開発に参加しており、これまでの開発活動の実績が認められて、選定されたものと思われます。これからの活躍が期待されます。

11月 11

Cloudera World Tokyo 2015 のライトニングトークセッション開催

2015年11月10日(火)に開催されたイベント Cloudera World Tokyo 2015 会場内のステージをおかりして、日本Hadoopユーザー会としてライトニングトークセッションを実施しました。HadoopやSparkの最新動向、運用上の工夫、周辺ツール、各社の取り組みなどをお届けしました。

■イベント概要
日程: 2015年11月10日(火)
会場: 目黒雅叙園内 Cloudera World Tokyo 2015会場内
(詳細: https://clouderaworld.tokyo/
主催: 日本Hadoopユーザー会
会場提供: Cloudera株式会社
参加費 : 無料

また、ライトニングトーク以外にも、日本Hadoopユーザー会として13:40~14:20に入門者向けセッションを実施しました。

▽『Hadoopの理解にちょっと自信がない皆さんに贈る 40分でわかるHadoop徹底入門』
日本Hadoopユーザー会 濱野賢一朗氏 (株式会社NTTデータ)

■ライトニングトークのプログラム

12:45~13:00 CDH 4->5へのUPDATE苦労話
山田 雄 / リクルートライフスタイル
13:00~13:15 HDFS新機能総まとめ in 2015
鯵坂 明 / NTTデータ, Hadoopコミッタ 資料
13:15~13:30 HDFS Erasure Codingの実装と工夫
佐々木 海 / TreasureData K.K. 資料
13:40~13:55 Amebaのログ転送管理システムMineとその活用について
斎藤 貴文 / サイバーエージェント
13:55~14:10 もっともっとHadoopを使ってみよう!
Hadoop活用の裾野を広げるオラクルの取り組みご紹介!
立山 重幸 / 日本オラクル
14:10~14:20 Big Data and Geo Analytics
髙瀬 啓司 / ESRIジャパン
14:35~14:50 初心者向けSparkの入門
土橋 昌 / NTTデータ
14:50~15:05 Spark Streamingで作る、つぶやきビッグデータのクローン
野田 純一 / 秋葉原IT戦略研究所 資料
15:05~15:20 hivemall-on-sparkの紹介とApache SparkにおけるHiveUDF系IFの対応状況
山室 健
15:40~15:55 Spark Summit Europeに行ってきたのでポイントをご紹介
土橋 昌 / NTTデータ
15:55~16:10 Running Kudu – how does it work on MapReduce framework?
Tsuyoshi Ozawa / Apache Software Foundation 資料
16:10~16:25 Introducing Apache Yetus
関 堅吾 / NTTデータ
16:35~16:50 HTrace 4の紹介
岩崎 正剛 / NTTデータ, HTraceコミッタ
16:50~17:05 Relationship between JDK  and Hadoop
Tsuyoshi Ozawa / Apache Software Foundation
17:05~17:20 MetricsSinkを書いてみた
岩崎 正剛 / NTTデータ
ドリンク
パーティー
機械学習アルゴリズムがよくわからなくても大丈夫
~Sparkを用いたビッグデータ機械学習の自動化~
上田 晴康 / 富士通研究所
ドリンク
パーティー
Hadoopのメンテナンスバージョンをリリースしてみた
鯵坂 明 / NTTデータ, Hadoopコミッタ 資料
ドリンク
パーティー
社内で使っていた Taildir を Apache Flume にコントリビュートするまで
飯島 賢志 / サイバーエージェント

3月 02

オープンソースカンファレンス 2015 Tokyo/Springで Hadoopのゾウさんが登場しました

2015年2月27日、28日で明星大学内で開催されたイベント 「オープンソースカンファレンス 2015 Tokyo/Spring」 の会場に、Hadoopのゾウさんが登場しました。

 

エルピック君と一緒に受付で記念撮影

エルピック君と一緒に受付で記念撮影

いっぱい撮ってもらいました

いっぱい撮ってもらいました

エルピック君と一緒にエレベータにものりました

エルピック君と一緒にエレベータにものりました

展示ブースも巡りました

展示ブースも巡りました

参加者や出展者の皆さんと仲良く交流させて頂きました。触れあって頂き、ありがとうございました!

古い記事へ «