ann-toque’s diary

@YASU11552288 の思うことをつらつらと

【Sapporo Data Pioneers #1 開催レポ】札幌でデータ系職種の勉強会開催しました!

札幌市でデータエンジニア/データアナリスト/データサイエンティストetc. のデータに関わる方や興味のある方向けの勉強会を開催したので、そのレポートです。 sapporo.connpass.com 勉強会の様子 開催の経緯 まず私の地元は札幌ですが、2016年に就職を機に上…

自分向け備忘録:2023年の振り返り

例年通りに振り返るぞーい 1月 「データ」が指す実態を分解 社内でデータという言葉が指すものが人によって、どこまで指すかが違いすぎたので分析、基盤、セキュリティなど領域を策定した。 振り返りや会議、組織編成の話の時に、認識を揃えつつデータの領域…

チームのデータ基盤技術の審美眼を育てるために取り組んでいること

前提と想定読者 本記事の私見以外の情報に関しては、一般に公開されている資料のリンク集のようになっています。 取り組んでいる内容は、私が現在勤務している会社に関連していますが、その詳細には触れません。 以下に類する方は参考になるかもしれません。…

自分向け備忘録:2022年の振り返り

年末の振り返りブログを始めてもう5年目!ブログ書きながら、年を越すのが習慣になってきた。 振り返りの進め方は、プライベートは写真を見ながらで、仕事はカレンダーを見ながら振り返っている。 今年も始めていこう!! 1月 自社開催のデータエンジニアリ…

精神衛生上良かった Developer Summit 2022

Developers Summit(通称デブサミ)とは Developers Summit(デベロッパーズサミット:デブサミ)は、2003年から毎年開催する、日本最大級のソフトウェア開発者のためのカンファレンスです。社外のデベロッパーと連携を取りながら企画を行い、ソフトウェア開…

自分向け備忘録:2021年の振り返り

1月 データ基盤調査フェーズ終了し、開発PJTに向けた準備へ 複数あるデータプロダクトの調査、どういう姿を目指すのかの整理が終わり、実際に移行開発を進める段階へ。 ただデータエンジニアの数が少ないのもあり、ベンダー選定が大きな焦点に。今までエンジ…

自分向け備忘録:2020年の振り返り

1月 職場では2019年の短い延長がほとんどで、ETLバッチアプリケーションの自動デプロイを設定していたりした。 データ基盤の業務が中々評価されなかったり、評価されないことで「自分の今の動きが会社の望むことと合っていないのか?」と考えて、転職活動し…

【BigQuery Advent Calendar 2020】二標本t検定の実装

この記事は BigQuery Advent Calendar 2020 - Qiita 17日目の記事です。 こんにちは。@YASU11552288 です。今回はBigQueryでt検定を実装したいと思います。pythonやRでライブラリは提供されているので、わざわざなんでと思う方もいらっしゃると思います。 た…

【Python】分析と開発のプロジェクト間を切り替え容易な環境を構築(pyenv + poetry + VScodeでJupyter Notebook)

こんにちはann-toqueです。この記事を書こうと思ったのはPythonを利用した業務改善のための開発を行い、かつ分析案件も並行して抱えてた際に、Jupyter Notebookを利用したインタラクティブな分析環境と前述の開発環境の両立を図りたく、タイトルの構成になっ…

自分向け備忘録:2019年の振り返り

1月 1年間参加したPJTの引き継ぎ始まる 部署の役割がR&Dで運用保守サービスを持たないという理由で、ETLアプリケーションの制作として参加したPJTの引き継ぎが決まった。全然理由は納得してるし、そうあるべきだと思うが半年前に外されたプロダクトオーナー…

Amazon ECSでdocker-compose.ymlのdepends_onが立ち上げの際に、warningを出す場合の対処法

この記事はAmazon ECSのタスク定義のdepends_onに関するまとめです。 ※Amazon ECSに関しての説明は省きます。 docker-compose.ymlのdepends_onって何? docker-compose.ymlには「depends_on」と呼ばれるコンテナ間の起動の依存関係を設定できる項目がある。 …

ハッカソンで自社APIを開放した事例集

仕事で調査する機会があったのでまとめました。 学生向け line-hr.jp corp.retty.me a3rt.recruit-jinji.jp robtstart.connpass.com techplay.jp adndevblog.typepad.com www.istyle.co.jp 参加年齢の制限なし chatbot.userlocal.jp about.moi.st swtokyo.do…

Laravel JP Conferenceに1 DAY STAFFとして参加した & 一部セッションの感想

どもどものども、やすです。昨日2/17に開催された「Laravel JP Conference 2019」に 1 DAY STAFFとして参加してきました!ちなみにLaravelは新卒研修の時以来ほぼ触っていないです conference2019.laravel.jp 1 DAY STAFF編 OP Talkの様子 今回の1 DAY STAFF…

2018年の振り返り

1月 仕事はtableauやredash、Google AnalyticsといったBIツールの管理者とデータ抽出、BigQueryにembulkで突っ込んだデータウェアハウスの運用をやってた。 LTデビュー SQL実践入門Night - connpass でLTに参加しました。これが人生初のLTでした。 聴衆の方…

会社の2018アドベントカレンダーに参加しました

投稿した記事 techblog.istyle.co.jp 社内SNSの反応 ブランド・ロイヤルティが高いところ・低いところがわかる!! ブランド・ロイヤルティ(brand loyalty)とは、消費者が、他の代替となるブランドがあるにもかかわらずある特定のブランドを購買し続けるこ…

Prestoのカタログ名を変更した際にRedashにでた影響と対応策

Redash Advent Calendar 2018の12/9の記事です。 アイスタイルで分析基盤の構築・運用を行っているやすです。 主にBigQuery, Digdag, Embulk, Redashといった技術を日々の業務では取り扱っています。最近は化粧品メーカー向けマーケティング支援サービス「ブ…

MariaDB ColumnStore 検証

モチベーション あ…ありのまま 昨年 起こった事を話すぜ! おれはデータマートを作るPJTをやっていたと思ったら いつのまにかデータウェアハウスを作っていた 何を言ってるか(ry というわけでMariaDB の ColumnStore の環境を構築し、 以下のgithubに上がっ…

Docker & Docker Compose勉強メモ

モチベーション データ分析基盤に関する様々なミドルウェアを「手軽」に触りたいが、毎回環境構築して、設定変えてインストールしてというのがめんどくさい。dockerだと楽に色々試せると聞いたので、勉強し、多くのミドルウェアに触れることで、自社に最適な…