12月 04

Hadoop / Spark Conference Japan 2019 開催のご案内

イベント Hadoop / Spark Conference Japan 2019 を、2019年3月14日(木)に東京で開催する予定です。

詳細などは、2019年1月にご案内します。講演やライトニングトークの発表、ご支援頂けるスポンサーの募集を予定しています。

11月 15

Hadoopソースコードリーディング 第25回 ご案内

Hadoopなどに関する勉強会 「Hadoopソースコードリーディング 第25回」 を開催します。

最近、日本でHadoopに関連するプロダクトのコミッタに新たに就任された方が多数いらっしゃるので、彼らに現在の取り組みや意気込みなど喋っていただくことにしました。

勉強会名: Hadoopソースコードリーディング 第25回
日時: 2018年11月19日(月) 18:30~21:00くらい
会場: 東京ガーデンテラス紀尾井町 ヤフー株式会社
主催: 日本Hadoopユーザー会
イベントページ: https://passmarket.yahoo.co.jp/event/show/detail/01ffu1zwkhdj.html

発表内容:

・HBase最新機能(仮)
鈴木 俊裕 / Hortonworks (Apache HBase committer)

・Spark 2.xふりかえりと、3.0にむけて(仮)
石崎 一明 / 日本アイ・ビー・エム (Apache Spark committer)

・Spark and More Advanced Topics (仮)
山室 健 / NTT (Apache Spark committer & Apache Hivemall committer)

・Hadoop-3.2の新機能(仮)
浅沼 孝信 / Yahoo! Japan (Apache Hadoop committer)

11月 20

Hadoopソースコードリーディング 第24回 ご案内

Hadoopなどに関する勉強会 「Hadoopソースコードリーディング 第24回」 を開催します。

勉強会名: Hadoopソースコードリーディング 第24回
日時: 2017年11月29日(水) 18:00~20:00くらい
会場: 豊洲センタービルアネックス (NTTデータ内)
主催: 日本Hadoopユーザー会
イベントページ: https://www.eventbrite.com/e/hadoop-24-tickets-39719814033

発表内容:
・Spark Structured Streaming with Kafkaの動作をソースコードから追ってみた / 木村 宗太郎(株式会社ドワンゴ)さん
・Apache Hadoopの新機能Ozoneの現状 / 鯵坂 明(NTTデータ)さん
・他1~2件あれば (募集中!)

3月 24

Hadoopソースコードリーディング 第20回を開催しました

Hadoopなどに関する勉強会 「Hadoopソースコードリーディング 第20回」 を開催しました。多くの皆さまにご参加頂き、ありがとうございました。

勉強会名: Hadoopソースコードリーディング 第20回
日時: 2016年3月24日(木) 19:00~21:30
会場: 豊洲センタービルアネックス (NTTデータ内)
主催: 日本Hadoopユーザー会
イベントページ: https://hadoop-scr20th.eventbrite.com/

発表内容:
・Apache Kylin: Materialized View for BigData / 古山 慎悟 (Yahoo! Japan) さん
・Apache Phoenix: Relational database layer over HBase / 今井 雄太 (Hortonworks Japan) さん
・Upgrading from HDP2.1 to HDP2.4 / @wyukawa さん

2月 08

Hadoop / Spark Conference Japan 2016(2月8日、東京)講演・LTのプログラム・講演資料

日本Hadoopユーザー会主催イベント「Hadoop Conference Japan 2016」「Spark Conference Japan 2016」を2月8日に東京・品川区内で開催しました。

今回は、Spark Conference Japanをはじめて併催しました。Apache Sparkの主要開発者である Xin Reynold 氏(Databricks)をお招きして、次期バージョンSpark 2.0の最新情報をご紹介頂きました。 様々な講演者が集結し、技術トピックはもちろんのこと、Yahoo! Japan、さくらインターネット、niconico、ソフトバンク、ローソン、リクルートライフスタイル、IHI等によるHadoop / Sparkの事例・取り組みも紹介されました。また、皆様に投票にご協力頂いたライトニングトーク選定の結果にもとづき魅力的な22件に発表頂きました。

このほか、会場内では、Hadoopゾウさんの登場、きらきらシールの配布、Hadoop/Spark書籍の特別販売、ランチやドリンクなどのご提供などを実施しました。

イベントWebサイト: https://hcj2016.eventbrite.com/

hcj2016

▲懇親会での集合写真

イベントの様子等は次のページでも取り挙げて頂いています
・ Apache Hadoopの現在と未来。YARNもHDFSも新しいハードウェアに対応して進化していく (Publickey)
・ Spark 2.0はフロントエンドAPIの創設と10倍の性能向上を目指す。早くも今年の5月頃登場予定 (Publickey)
・ Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく (Publickey)
YARN、HDFS、そしてSparkの将来像とは:「Hadoop/Spark Con」基調講演 (ZDNet Japan)
変化の先にある進化,そして本当の浸透をめざすHadoopとSpark (Gihyo.jp)
先進ユーザーがリードするHadoop/Spark応用事例~Sparkで5倍の性能アップ~ (ThinkIT)
Beyond Hadoop ─Databricks共同創業者に訊くApache Sparkのポテンシャル (Gihyo.jp)
Hadoopは分散処理のプラットフォームになる~米Clouderaエンジニア (クラウドWatch)

 


■日時
2016年2月8日(月) 10:00~19:00 (受付開始 9:30)

■会場
きゅりあん (東京都品川区、大井町駅すぐ)

■主催
日本Hadoopユーザ会

■スポンサー(申込順)
リクルートテクノロジーズ、MapR Technologies、Cloudera、日本アイ・ビー・エム、Hortonworks Japan、NTTデータ

■プログラム

  Keynote
10:00 ご挨拶、Hadoopを取り巻く環境2016 [講演資料]
 濱野 賢一朗 (日本Hadoopユーザー会, NTTデータ)
Hadoopの現在と未来 [講演資料]
 鯵坂 明(Hadoopコミッタ)、小沢 健史(Hadoopコミッタ)
Yahoo! JAPANのデータプラットフォームの全体像と未来
 遠藤 禎士(ヤフー)
Hadoopのストレージの現状と展望 [講演資料]
 Todd Lipcon(Cloudera)
Spark Conference Japanの開催にあたって [講演資料]
 猿田 浩輔(Apache Sparkコミッタ)
Spark 2.0: What’s Next [講演資料]
 Reynold Xin(Databricks)
さくらインターネットが構築した、Apache Sparkによる原価計算システム
 須藤 武文(さくらインターネット)
  A会場
B会場
C会場
D会場
ランチ会場
ライトニングトーク
ランチ会場
ライトニングトーク
ランチ会場
Apache Spark 超入門 [講演資料]
猿田 浩輔(NTTデータ)
13:00 データドリブン企業における、Hadoop基盤とETL ~niconicoでの実践例~ [講演資料1] [講演資料2]
嶋内 翔(Cloudera)
志村 誠(ドワンゴ)
YARN: Resource Manager for Analytic Platform
小沢 健史(NTT)
ストリーミングアーキテクチャ: State から Flow へ [講演資料]
草薙 昭彦(MapR Technologies)
次世代アーキテクチャから見たHadoop/Sparkの位置づけ ~特にRDMA・NVMを軸としたときの分散並列処理の観点から
神林 飛志(ノーチラステクノロジーズ)
13:45 On-Premises Hadoopクラスタ構築の苦労体験と運用ノウハウ
松浦 晋(SoftBank)
関谷 雅宏(SoftBank)
KuduによるHadoopのトランザクションアクセスと分析パフォーマンスのトレードオフ解消 [講演資料]
Todd Lipcon(Cloudera)
リクルートライフスタイルの考えるストリームデータの活かし方 ~AWS + Kafka + Spark Streaming~ [講演資料]
車田 篤史(リクルートライフスタイル)
堤 崇行(NTTデータ)
ビッグデータ可視化の性能を徹底検証 ~SparkSQL、Hive on Tez、Hive LLAPを用いた既存RDBデータ処理の特徴~ [講演資料]
新郷 美紀(NEC)
蒋 逸峰(Hortonworks)
14:30 顧客事例から学んだ、エンタープライズでの”マジな”Hadoop導入の勘所 [講演資料]
立山 重幸(日本オラクル)
今あらためて考えるHive ~ユースケースの広がりにより顕在化した課題と対応~
吉田 耕陽(NTTデータ)
さくらインターネットが構築した、Apache Sparkによる原価計算システムの仕組みとその背景
須藤 武文(さくらインターネット)
Spark MLlib Now and Beyond [講演資料]
石川 有(リクルートテクノロジーズ)
15:15 基幹業務もHadoopで!! ~ローソンにおける店舗発注業務へのHadoop + Hive導入と、 その取り組みについて~ [講演資料]
須田 桂伍(フューチャーアーキテクト)
Hiveを高速化するLLAP [講演資料]
小澤 祐也(ヤフー)
Deep Dive into Project Tungsten [講演資料]
Reynold Xin(Databricks)
SparkによるGISデータを題材とした時系列データ処理 [講演資料]
鈴木 由宇(IHI)
土橋 昌(NTTデータ)
16:00 Maintainable Cloud Architecture of Hadoop [講演資料]
佐々木 海(Treasure Data)
Hadoop Security Recap: -セキュリティ関連の概要/近況のおさらいとLDAP/AD, Kerberos, Apache Ranger [講演資料]
今井 雄太(Hortonworks)
Exploiting GPUs in Spark [講演資料]
石崎 一明(日本アイ・ビー・エム)
Hive on Sparkを活用した高速データ分析 [講演資料]
加嵜 長門 (DMM.comラボ)
   懇親会・ライトニングトーク (17:00-19:00) - 参加費:2000円

 ■ ライトニングトーク

▼ランチタイム: A会場

  • いろいろなストリーム処理プロダクトをベンチマークしてみた [発表資料] (三木 健司, ヤフー)
  • 僕の考える最強のビックデータエンジニア [発表資料] (山田 雄, リクルートライフスタイル)
  • TensorFlowの分散処理技術とGoogleの機械学習プロダクト [発表資料] (佐藤 一憲, Google)
  • 金融機関でのHive/Presto事例紹介 [発表資料] (岩永 亮介, Amazon Web Services Japan)
  • サポートメンバは見た! Hadoopバグワースト10 [発表資料] (鯵坂 明, NTTデータ)
  • 本当にあったHadoopの恐い話~Blockはどこへきえた? [発表資料] (山下 真一, NTTデータ)

▼ランチタイム: B会場

  • 自動的なビッグデータ機械学習技術:Spark上で複数の学習アルゴリズムの自動選択が可能に [発表資料] (上田 晴康, 富士通研究所)
  • Apache Sparkを用いたスケーラブルな時系列データの異常検知モデル学習ソフトウェアの開発 [発表資料] (河原 亮, 日本アイ・ビー・エム)
  • JVM, OSレベルのチューニングによるSparkアプリケーションの最適化 [発表資料] (千葉 立寛, 日本アイ・ビー・エム
  • データサイエンスにおける一次可視化からのSpark on Elasticsearchの利用 (大木 基至, NTTコミュニケーションズ)
  • グラフデータベース事始め [発表資料] (中井 亮矢, 日本オラクル)
  • GunosyにおけるSpark Streaming活用事例 [講演資料] (森本 淳司, Gunosy)

▼懇親会

  • NetflixにおけるPresto/Spark活用事例 [発表資料] (岩永 亮介, Amazon Web Services Japan)
  • Fluentd and Kafka [発表資料] (Masahiro Nakagawa, Treasure Data)
  • スキーマつきストリームデータ処理基盤、Confluent Platformとは? [発表資料] (木村 宗太郎, ドワンゴ)
  • 5分で身に付く! Apache Hadoop開発 [発表資料] (鯵坂 明, NTTデータ)
  • NIIでいろいろなHadoop環境(だけじゃないけど)を作ったり壊したり動かし続けたりしている話 [発表資料] (谷沢 智史, ボイスリサーチ)
  • 運用作業の証跡も,再利用する手順の記述も,教材作成もLiterate Computingでやってみる [発表資料] (政谷 好伸, 国立情報学研究所)
  • Spark Streamingで作る、つぶやきビッグデータのクローン [発表資料] (野田 純一, GMOインターネット, 秋葉原IT戦略研究所)
  • Mesos/Hashicorpで実現するSparkの柔軟な実行環境 (木内 満歳, クリエーションライン)
  • Apache Sparkがリアルタイム分析でNOSQLのApache Cassandraに出会った。(ウルルン風) [発表資料] (原沢 滋, DataStax)
  • Apache Kylinについて [発表資料] (古山 慎悟, ヤフー)

続きを読む »

1月 30

Hadoop / Spark Conference Japan 2016のライトニングトーク候補の投票結果

Hadoop / Spark Conference Japan 2016のライトニングトーク企画に、多くの方から候補案をエントリ頂きました。会場や時間の制約のため、全員に発表頂くのは難しいため、投票により選定させてもらうことになりました。投票はWeb上のフォームを通じて、ひとり最大10件の候補を選択する仕組みで、2016年1月21日~1月27日に実施しました(全280件の投票)。

結果は次のグラフの通りとなり(PDF版)、42票以上を獲得した22件(ランチタイム12件+懇親会時 10件)の案を選定することになりました。エントリ頂いた皆さま、投票頂いた皆様、ご協力ありがとうございました。

イベント当日のライトニングトークのプログラムは、イベントページをご確認ください。

result_HCJ2016_LT

皆さんから提案頂いた案は次のとおりです。

続きを読む »

1月 29

日本で活動する岩崎さんがHadoopコミッタに就任

日本で活動する岩崎 正剛さん(株式会社NTTデータ)が、Hadoopのコミッタに就任したと発表されました。

以下は、メーリングリスト hadoop-general  でアナウンスされた内容です。

On behalf of the Apache Hadoop PMC, I am pleased to announce that Masatake Iwasaki has been elected as a committer on the Apache Hadoop project. We appreciate all of Masatake’s hard work thus far, and we look forward to his continued contributions.

Welcome Masatake!

コミッターはソースコードなどの変更などの権限を有する開発者のことです。これからの活躍が期待されます。

1月 18

【ご案内】 Hadoop / Spark Conference Japan 2016(2016/02/08)を開催します

Hadoop Spark Conference Japan 2016

Hadoop Conference Japanは、並列分散処理フレームワーク Apache Hadoop および周辺のオープンソースソフトウェアに関するイベントです。日本Hadoopユーザー会の有志によって運営されます。今回で6回目の開催となります。

今回は、Apache Spark に関するイベント Spark Conference Japan 2016 を併催します。

Hadoopや並列分散処理に興味のある技術者の方はご自由に参加頂けます。イベント終了後に懇親会を行います。併せてご参加ください。

日時: 2016年2月8日(月) 10:00~19:00 (受付開始 9:30)
会場きゅりあん (東京都品川区、大井町駅すぐ)
主催: 日本Hadoopユーザ会


■参加登録
参加される方は、イベントページより事前に登録をお願いします (参加費:無料)

1月 18

Hadoop / Spark Conference Japan 2016のスポンサー募集

2016月2月8日(月)に『Hadoop Conference Japan 2016』および『Spark Conference Japan』を東京・きゅりあん(品川区・大井町駅すぐ)で開催します。

Hadoop Conference Japan は2009年より開催しているApache Hadoopに関する総合イベントで、毎回1000名程度の皆様にお越しいただいています。今回は、Apache Sparkに関するイベント Spark Conference Japan をはじめて併催します。

本イベントのスポンサー企業を募集します。詳細は添付の資料をご確認ください。

Hadoop_Spark_Conference_Japan_2016_スポンサー案内(PDF)
HCJ2016スポンサー申込書(Word文書)
HCJ2016スポンサー申込書_記入例(PDF)

スポンサーをご希望の場合には、上記の申込書に記入(押印もしくは署名)したものをスキャンしてPDF形式としたものを hcj2016@hadoop.apache.jp 宛にお送りください。2016年1月22日(金) 17時をもって締め切らせて頂きます。 募集数(7社)に達した場合は早く締め切る場合があります。 → 締め切りました。応募頂きました6社の皆様、ありがとうございます。

1月 15

日本で活動する鯵坂さんと小沢さんがHadoopのPMCに就任

日本で活動する鯵坂 明さん(NTTデータ)と小沢 健史さん(NTT)が、Apache HadoopプロジェクトのPMC (Project Management Committee) に就任したと発表されました。

以下は、メーリングリスト apache-general でアナウンスされた内容です。

On behalf of the Apache Hadoop PMC, I am very pleased to announce the following folks have been elected as a PMC member on the Apache Hadoop project recognizing their sustained and significant contributions to the project:

– Akira Ajisaka
– Robert Kanter
– Tsuyoshi Ozawa
– Wangda Tan

 

PMCは、Hadoopの開発やメンテナンスにおいて、主要機能追加の決定やコミュニティメンバの推薦等、コミュニティの運営も担う主要開発者のことです。鯵坂さんと小沢さんの活躍がこれまで以上に期待さ れます。

古い記事へ «