ニクニクドットミー

カッコいいおっさんを目指すエンジニアの厳かなブログ

SRE NEXT 2022に参加して健康になりました

2022/05/14,15の二日間でSRE NEXT2022がオンラインで開催されました!
実はSRE NEXT2020ではコアスタッフとして会場の受付と懇親会の手配をさせていただきました。当時も非常に多くの方が来場されて楽しいカンファレンスでした。(2020の時のブログを書こう書こうと思って早2年経ってしまいました...)

あれから2年経ちついに開催され嬉しい気持ちでした。オンラインでの開催はどんな感じなるのかな?と思っていたのですがZoomを活用したストレスを全く感じない最高なオンラインカンファレンスを体験することができました。

改めてスタッフのみなさん、登壇者のみなさんに感謝です。

Day1の方はほぼフルで参加していたのですが、Day2の方が途中参加になる予定が残念ながら叶いませんでした。Day1で参加したセッションは以下の通りです。

続きを読む

インスタンスメタデータからタグ情報が取得できるようになったので試してみた

2022/1/6に以下の記事が公開されました。
aws.amazon.com

この記事よるとインスタンスメタデータからインスタンスに設定されているタグ情報が取得できるようになったとあります。いままではdescribe-tagsdescribe-instancesなどAPIを呼び出してタグ名を取得する必要がありました。
メタデータにタグ情報が付与されることでAPIを呼び出す必要がなくなり、APIコール数を抑えることが出来ます。

実際にメタデータからタグ名を取得できるか検証をしてみました。

続きを読む

Amazon Kinesis Data Firehoseの費用を見積もることを忘れてはいけない

これは反省記事です。ECS上で稼働しているアプリケーションのログをFireLens経由(Fluent Bit)でOpenSearchに投入する際に、間にAmazon Kinesis Data Firehoseを挟む構成を考えていました。
なぜFirehoseが出てきたかというと、今回考えていた構成はECSのプラットフォームにFargateの利用を考えており、ボリュームは利用しない構成でした。ECS FargateはエフェメラルのボリュームもしくはEFSをマウントすることが可能ですが、エフェメラルなボリュームではタスクが終了したタイミングで消失してしまうため、ログをボリュームに書き出すような構成には向いていません。
EFSの場合はネットワークを経由してデータをボリュームに書き込むため、アプリケーションのパフォーマンスに影響が出る可能性があり、利用しませんでした。

仮にFireLensからOpenSearchへのログ投入がなにかしらの影響で詰まってしまうとログの欠損や遅延が発生すると考え、間にAmazon Kinesis Data Firehoseを挟む構成を取りました。

ECS -> FireLens -> Firehose -> OpenSearch

ご存知の方も多いかと思いますが、Firehoseの金額の計算式は以下の通りです。(取り込みのみ引用)

取り込みの料金 3 KB のレコードサイズを 5 KB の倍数の取り込みに切り上げる = 5 KB 最初の 500 TB/月の料金 = 0.029 USD/GB

取り込みで請求される GB = (100 レコード/秒 * 5 KB/レコード) / 1,048,576 KB/GB * >30 日/月 * 86,400 秒/日 = 1,235.96 GB

月間の取り込み料金 = 1,235.96 GB * 0.029 USD/GB = 35.84 USD

https://aws.amazon.com/jp/kinesis/data-firehose/pricing/?nc=sn&loc=3

ポイントは取り込むデータの単位です。

取り込みの料金は階層別であり、5 KB 単位で取り込まれた GB ごとに請求されます (3 KB のレコードは 5 KB、12 KB のレコードは 15 KB として請求されるなど)。

データの取り込む際の単位は5KB単位になるため、例にあるように3KBのデータでも5KBに切り上げられてしまいます。ここをうっかりしてしまうと、あれ?思ったより高くない?となってしまいます。
僕はこの計算式をすっっっっっかり失念しており、慌てて計算しました。

Firehoseの見積もりページもあるので利用してみると良いと思います。

以下のキャプチャは秒間200レコードでデータサイズを5KBで計算した例です。

f:id:maaaato:20220103173209p:plain
Firehoseの見積もり例

ということでFirehoseの見積もりのクセを忘れてしまった男の反省ブログでした。

See you next time:)

2021年を振り返ると、気づくことが多かった

今日は2021/12/31大晦日。なぜかNetflixで浅草キットを流している。
晦日の前日、ふとツイッターを眺めているとタイムラインが振り返りブログで溢れていたので、一日遅れではあるが振り返りをしておこうと思う。
覚えている範囲でざっくり半年ごとに書いてみる。

2021年1月 ~ 6月

この時の仕事は少し泥臭い系の業務が中心だった。その中でも後々必要になるであろうワークフローを他部署に確認しながら、手順を作成するなどした。自分は手順を作るときに利用者がわかりやすいように図を作るようにしている。これはなにかたたき台を作るときにもラフ絵を書くようにしていてる。図があると全体像がパッと伝わりやすいからそうしている。

驚くことにこの泥臭い業務は半年ほど続いたが、先に上げたような工夫以外にも以下のことを気をつけた。

続きを読む

NuCon2021でLTをしたので余談多めにふりかえります

このブログはヌーラボブログリレー13日目の記事です。
12日目の記事はkwbtstsさんのクライアントだけで完結するプレゼン動画作成ツールを作って公開しました でした。

去る11月27日にNuCon2021~LOVE DIFFERENCES~がオンラインで開催されました。技術的なセッションもあれば育休をテーマとしたパネルディスカッションがあったりと多種多様なテーマで開催されました。
僕はイベントの後半にあったLTにて 「Small Talkでトビラを開く」 というタイトルで登壇させていただきました。

当日利用した資料はこちらです。もしよろしければ御覧ください。

speakerdeck.com

この記事では登壇に至った背景と余談多めにNuCon2021を振り返ります。

続きを読む

4Lsを使って10/23 ~ 10/30のふりかえりをしてみた

チームの振り返りを週一回やっているのだけど他チームの振り返りなどが得意な人に監修してもらい、いつもやっている振り返り(Starfish)ではなく、別の振り返り方法を提案してもらったので試してみた。
個人的にとっつきやすくてスラスラと書けたので個人の振り返りにも使ってみようと思う。
というこで、4 Lsで振り返っていくぞ

4Lsとは?

簡単に4Lsについて説明を挟んでおく

The Ls stand for: liked, learned, lacked, and longed for.

気に入ったこと、学んだこと、欠けていること、憧れていることをそれぞれ4つのエリアに区切って書いていくというスタイル。
個人的に「気に入ったこと」や「憧れていること」は書きやすい分類だったのでスラスラと書くことができた。「憧れていること」には最近読んだ記事の中でいいな〜と思ったことなどを書いた。
チームで4Lsをやる場合は、それぞれ4つ書いたあとに「次にやること」や書いた内容について議論するのが良いと教わった。

10/24 - 10/30の間であったことを4Lsに分けて書いてみたいと思う。

Liked 気に入ったこと

Learned 学んだこと

  • 山型クロスファンクショナルチームの話がいまのチームの方向性にあっていて、次のステップを踏むのに大いに参考になった
    • このスライドにある山型ファンクショナルチームになるために大事なことにある 「簡単に開発できるようになる」「チームの能力を上げる」はぼんやりとだが個人的に課題感を感じていたことがうまく言語化されてさらにアプローチまで紹介されていて感激した。
  • 1on1について考えるタイミングがあったが世間一般では上司と部下でサシで話をするためのツールということを改めて認識した。ホラクラシーのような上司がおらず対等な関係性だとうまくワークしないツールに思えた。
    • 自分はメンターという立場で1on1はしたことがないが将来に備えて「聞く技術」や「コーチング力」を備えていきたい。

Lacked 欠けていること

  • 開発に関する基礎が抜けて切っている感じがしてなんだかなーという気持ちになることがあった。
    • 例えばがっつりオブジェクト指向を用いた開発経験や設計に関する知識など。
    • 業務のコードを空いた時間で読むようにしているがキャッチアップに時間を要していて変に焦ってしまう。
    • 一方、ポジティブに捉えているところもある。自分が分からなかった/知らなかったことは、もしかして他の人に役立つ時が来るんじゃないかと考えているので今のうちに知り得た情報をまとめるようにしている。
    • この文章を書きながら焦ることはないなと思えてきた:)

Longed For 憧れていること

  • 先に上げたスライドのようにチームの課題をうまく言語化できるのは羨ましいスキルだなと思う。この文章を読むと分かる通り自分は言語化力や文章力が弱い。言語化力はステキなスキルだなと思う。
  • 数値ベースの分析も憧れる。普段からデータを取っておく必要はあるが、きちんと活用して改善に繋げるのは憧れる。
    • PagerDutyの月別のアラート件数を取得してグラフ化はしているが、ちゃんと分析しているわけではないのでここからデータ分析を始めるのは良さそうである。

ざっと4Lsで振り返りをしてみた。これまでは仕事、プライベートで気になったことなどを書いていたが4つのカテゴリに分けて振り返ってみるとスラスラと振り返ることができて気持ちがよい
しばらくはこのスタイルで振り返ってみようと思う。

See you next time:)

10/17 ~ 10/23のふりかえり

ゴッホ展はいいぞ

仕事

  • Fargateを使うのでコンテナの監視にmackerel-container-agentを使うことにした。Datadogを使わないのはメインの監視ツールにmackerelを採用しているため。
  • 新入社員向けの研修を実施した。
    • いま所属しているチームメンバーの紹介とアーキテクチャの紹介をした。ただ1hでやるにはボリュームが多くなってしまった。後ほどアンケートを取った所、情報が多かったとフィードバックを頂いたので次回は二部構成にするとか時間を増やそうと思う。

プライベート

See you next time:)