ann-toque’s diary

@YASU11552288 の思うことをつらつらと

2018年の振り返り

1月

仕事はtableauやredash、Google AnalyticsといったBIツールの管理者とデータ抽出、BigQueryにembulkで突っ込んだデータウェアハウスの運用をやってた。

LTデビュー

SQL実践入門Night - connpass でLTに参加しました。これが人生初のLTでした。 聴衆の方々にあたたかい目で見ていただけたおかげもあり、無事LTデビューを終えました。
speakerdeck.com

輪読会提案

チームの人数が3人から6人と増えた時期でもありDBAやクエラー、BIツールマンなど技術スタックがバラついてきたので、輪読会を行いました。以下書籍でデータを取り巻く技術の概要をつかめました。

ビッグデータを支える技術 刻々とデータが脈打つ自動化の世界 WEB+DB PRESS (著:西田 圭介)

尊敬していた同期がやめる

今の会社には新卒で入社したのですが、尊敬していた営業の同期がやめました。やめる背景も含めて、入社して一番ショックな出来事だった。

2月

データといえばこの人みたいなブランディングも浸透し始めたし、WEBのデータだけでなく、小売のデータ理解も進み、別部署からの重要な話も結構相談が来た月だった。

新卒採用

この頃から新卒採用のリクルーターとしてアサインし始められ、初出張で岩手県に行った。本場の冷麺は最高でした。

f:id:ann-toque:20181231230818j:plain

3月

モバイルアプリのユーザーの行動計測をGoogle Analyticsで行なっていて、スキーマ自由に決めれないし、サポート今後切れるしで、Firebase Analyticsの導入をしたくて、企画・各サービス担当チーム間を奔走し始めた月。まさかここから導入完了までに半年もかかるとつゆ知らず…。ウェブビューに色々やらしちゃいかん…。

presto環境構築

分析用と本番のWeb APPから使用されるprestoサーバーが併用されていたため、移行作業を行なった。当時はオンプレの仮想サーバーでの運用が基本で、ハイメモリで割り当てをもらうためにはインフラチームへのスペックの根拠の説明が必要で、ふわっとしていたインフラ周りの知識がすごく深まった時期。

ブログ投稿

作ったデータウェアハウスがBigQueryにただデータ突っ込んだもので、WEBアプリケーションから叩かれることもなかったので、大量データにクエリで答えてくれるDBを探していたときに試してみた。 ann-toque.hatenablog.com

4月

初サービスの開発メンバーにJOIN!!化粧品メーカー向けマーケティング支援サービス「ブランドオフィシャル」のETL処理部分を担当することになり、8ヶ月たった現在も継続中。サービスに関しては以下の記事から。 blog.istyle.co.jp

新卒OJTのデータ理解向上の研修担当

4月に入社した新卒1年目の社員にデータを理解してもらうための研修を計画・実行。内容はwebサイトのアクセスログやサービスデータをcsvで提供して、エクセルで分析してもらうってもの。ユーザーの行動データの生の状態がどんなものかを知ってもらって、サービスで作り出す「口コミ」「予約」「購入」がどんなデータ形式かをイメージできるように組んだ。

エクセルの仕様理解が浅くて反省点があったので、来年もやるなら改善してまた行いたい!!

5月

執行役員に立候補しました

枠としては新設でChief Data Officer (CDO)。結果はダメでした。社長からは「それ執行役員じゃなきゃできないの?」とフィードバックもらいました。確かにって思った時点で組織とポジションの理解が甘いところを認めざる終えなかった。ただこれを機に分散されていたやりたいことが「データライフサイクルの円滑化」と一文にまとめることができた。

非エンジニアも参加できる社内LT大会を開催

昨年はエンジニアのみのLT大会を開催したのですが、開催後に企画やプロデューサーの方から「私も参加したい!!」との声があったので開催。社内イベントは結構やったので問題なく運用はできたのだが、開催側を増やすためにどうしたらいいかなとか考え始めた。

6月

心理・教育のための統計法(著:山内 光哉) をjupyter notebookでpythonコード化して、自分用の教科書を作っていた。途中で止まっているので2019年も進めたい。

7月

異動した。「一緒に働きたい」と思っていた Yuuki Takezawa@ytake (@ex_takezawa) | Twitter さんの下にいけたので結果オーライ。

ゲーム作った

昨年作った忘年会で作ったWEB APPが人事部長にうけて、「全社総会でも何かやって欲しい!!」と依頼されて、同じメンバーで一緒に作った。Firebaseのプランを従量課金にするのを忘れていて、Firebase Realtime Database の同時接続数上限に引っかかりゲームが止まる場面もあったが、無事終えれたのでよかった笑 blog.istyle.co.jp

↓ 昨年つくったやつ blog.istyle.co.jp

8月

母校の学生に絞ったインターン開催

初めてReact Native触ったが、普段データ周辺の技術にしか触らない自分にとっては新鮮だった。 blog.istyle.co.jp

阿波踊り(踊る側)に参加

昨年も参加して今年で2回目。同期や社長とゆっくり話す時間があって、すごいよかった。社長と前からは近い距離ではあったけど、社長も人間なんだなと実感した。四国のうどんはうまい。 f:id:ann-toque:20190101001921j:plain

9月

4月にJOINしたサービスの要求・要件定義がひっくり返りもあり4ヶ月後にFIXというまさかの事態。PJT・事業の進め方に疑問を持ち始める。

buildersconを見に行った

Kyle Kingsburyさんの分散システムの種類別にCAPの担保の使用に関する発表。リサーチエンジニア?だったかな。そういうエンジニアもいるんだなと知った。 builderscon.io

10月

新卒2年目でやめたエンジニアの同期に飲んだ際に「お前はエンジニアだよ」と人権をいただけたので、僕はエンジニアです。

Redash Meetup 4.0.0にLTで参加

詳細は以下記事から techblog.istyle.co.jp

11月

PJT炎上。リリースに間にあわせるためにめっちゃ働いたがリリース前日にバグが見つかる。リリース後にもバグが見つかる。泣きながら仕事した。そんななか、優しい彼女ができた。

Apache Kuduを理解し始める

9月くらいからkudu + impalaに興味を持ち始めてAWSインスタンス立てて構築していたのだが、わからない部分が多々あった。cloudera world tokyo 2018に参加した際、apache kuduのよく見るスライド作者の人と話す機会があり、kuduのわかりみがすごかった。 www.clouderaworldtokyo.com

12月

アドベントカレンダーは2本書いた

ann-toque.hatenablog.com

techblog.istyle.co.jp

ラムダアーキテクチャとの出会い

めちゃめちゃ良書。データエンジニアに限らず、アプリケーションのエンジニアでもRDB以外の選択肢を取る際裏側がどうなるべきかをイメージするために知っておいた方がいいと思う。CTOさん、早く教えて欲しかったです。 最近はカッパもあるらしいので、どなたか良書があれば教えてください。

スケーラブルリアルタイムデータ分析入門 ―ラムダアーキテクチャによるビッグデータ処理(著:Nathan Marz)

まとめ

今年

  • マネージャーに「成長したよ」と言われていまいち信じれなかったけど、振り返ると確かに1月より確実に成長してる

来年

  • 仕事としてはリアルタイム×大量データへの低レイテンシなデータ基盤作り終えたら、アナリスト・サイエンティストにジョブチェンジします
  • そのためにアナリストに近い副業を探し始めようと思います
  • 何かのカンファレンスで15分以上喋る

2018年も家族・同期・先輩・後輩・友人・ハロプロ・izone・新日本などなどみなさんお世話になりました ( ・∇・)