意外と便利な小技をまとめる. 一般的なものから, まあ使わんものまで, 見つけたものを追記していく予定.
値.is_integer()
import math math.factorial(x)
pow(a, n)
dictionary.setdefault(key, value)
'_'.join(["hoge", "fuga"])
hoge_fuga
list_=[a,b,c,d] print(*lilst_)
a b c d
あるミドルウェアを新しくaptでサーバに導入し, 起動し, 状態の確認systemctl status *としたところ, start request repeated too quicklyがエラー文として表示された. 調べてみたところ, どうやらユニットの起動に失敗した際に, 自動でユニットの再起動が行われるように設定されているようで, その再起動のスパンが早すぎるために出てくるエラー文らしい. つまり正しいエラー文が, 再起動のせいで埋もれている. 再起動のスパンを長くする手立てもあるが, とりあえずの処置として, そもそも起動に失敗した際に, 再起動しないように設定を行った.(いずれ再起動のスパンを長くする方法も調べる)
Restart=no
systemctl daemon-reload systemctl start *
マイクロサービスアーキテクチャのchapter1のメモ
最低限のサービスごとにコードを分けようという思想
凝集性に着目して分割
単一のコードでサービスを運用する場合
サービスごとに異なった、それぞれのサービスに最も適したツールの選択が可能マイクロサービスでは、各サービスごとにスケーリングを行うことが可能であり、無駄が少ない
tips
tips
統計的因果推論とは、相関があるだけでなく、実際に変化した時に、目的変数がどうなるかを推測する
統計的因果探索を解説相関はあくまで、データから読み取れる結果でしかなく、因果関係は考慮していない
i.e. - チョコの消費量が多いと、ノーベル賞受賞者が多い =>相関 - チョコの消費量を増やしたときにノーベル賞受賞者数がどうなるか =>因果関係
因果グラフで表す
共通原因と呼ぶ
未観測共通変数と呼ぶ因果関係はないが、相関がある場合、擬似相関と呼ぶ
未観測、観測変数の値より、ある変数の値が生成される工程を生成過程と呼ぶ
誤差関数と呼ばれ、バイアスのような役割をする
相関係数では、因果関係の大きさを測ることはできない
統計的因果推論は因果グラフが既知の場合の手法
y=f(x, e)
内生変数
外生変数
反事実モデルと構造方程式を組み合わせたモデル
介入により、ある変数に対して、任意の定数を代入
do(x=c)をした時、yの確率分布はp(y|do(x=c))で表される平均因果効果で因果効果の大きさを定量化
説明統計的因果探索は因果グラフが未知の場合の手法
現実問題として取り扱う場合、統計的因果探索して因果グラフの推測を行ったのちに、統計的因果推論により、その因果関係の大きさなどを推測することも多々ある
本書では、ランダム化実験を行わず、いくつかの制約を設けることで因果グラフを推測する手法を取り扱う
識別可能性
平均総合効果因果的マルコフ条件を導入
忠実性を導入
マルコフ同値類と呼ぶマルコフ同値類内の全ての期待値を計算し、最小or最大の値によって評価
ideをどうしても使いたくない、logging, printでデバッグしたいという頑固ものにうってつけのパッケージ。 というかそういう層以外に、需要なさげ。 以下、readmeの簡単なまとめと個人的な意見をまとめる。
内容のverは2.0.0。git hubはhttps://github.com/gruns/icecream。
試してみようかと思ってインタラクティブでやってみたが使えなかった。スクリプトを書く前提<-まあ困らん
>>> from icecream import ic >>> a=None >>> print(a) None >>> ic(a) ic| Error: Failed to access the underlying source code for analysis. Was ic() invoked in an interpreter (e.g. python -i), a frozen application (e.g. packaged with PyInstaller), or did the underlying source code change during execution?
icecreamを，使うことで、変数の値のprintと同時に、変数名まで表示。デバッグで数値とその数値がどの変数のものかをわざわざprint文で書いたり、関数化する手間を省いてくれる点は便利。
from icecream import ic a="hoge" ic(a)
ic| a: 'hoge'
パッケージの中身を全く見てないので確証はないが、どうやらicの括弧内のテキスト情報を読み込んで，表示しているだけのようなので、関数、無名関数、リストでも同様に表示される。
from icecream import ic
def hoge(a):
return "hoge"
a=None
ic(hoge(a))
ic| hoge(a): 'hoge'
from icecream import ic hoge=lambda a: "hoge" a=None ic(hoge(a))
ic| hoge(a): 'hoge'
from icecream import ic hoge=["hoge", "fuga"] ic(hoge[0]) ic(hoge)
ic| hoge[0]: 'hoge' ic| hoge: ['hoge', 'fuga']
from icecream import ic
class Hoge():
a="hoge"
hoge=Hoge()
ic(hoge.a)
ic| hoge.a: 'hoge'
ide使いたくない、Debugger使うより…ry の民は、基本的に条件に正しく入っているかどうかやエラーで止まった際、どこまで正しく動作していたのかをprintを使って確認しがち(俺だけか？). プログラムの至る所にprint("hoge1"), print("hoge2"), ...と現在プログラムのどこにいるのかわかる様に連番でprintしてゆく手間を軽減
なお動作するのは、関数内のみの模様なので、簡単な単体テストのときなどに用いると、便利そう
from icecream import ic
def hoge(a):
ic()
if a:
ic()
else:
ic()
print("\n")
hoge(0)
hoge(1)
ic| tmp.py:3 in hoge() at 04:30:44.835 ic| tmp.py:7 in hoge() at 04:30:44.836 ic| tmp.py:3 in hoge() at 04:30:44.837 ic| tmp.py:5 in hoge() at 04:30:44.838
一括で、あるコード以降のicによる出力を停止。再開も可能。正直、使い道が、プログラムが完成した際に書かれているテスト用のprintを消す手間の軽減ぐらいしか思いつかない。どっちにしてもprintしかりicしかり、残ってるとコード的に美しくないので, 本番環境のコードに残っているのは個人的にはどうかと思う。趣味で、誰にも見せる予定のないコードとかだったりあり。
from icecream import ic ic(1) ic.disable() ic(2) ic.enable() ic(3)
ic| 1 ic| 3
https://github.com/gruns/icecream/issues/51で報告されているように, 2021年1月20日; ver2.0.0;現在ではpipでインストールした場合, pythonのverが3.7.3だと利用できなかった. 3.8.1に変更した際, 利用できたので, pythonのverをあげる必要がある. プロジェクトによってはpython 3.7.*を使わざるを得ないことも多々あるので, どうにしかほしい.
project ├ main.py └ hoge.py
from icecream import install
install()
import hoge
hoge.hoge()
def hoge():
a="hoge"
ic(a)
脳死でgit add .からのgit commit -m "fixed"をした後に, 余計なファイルをcommitしていることに気づくことがままあり, その修正方法を毎回ググるのが面倒なのでまとめる.
git logでcommitされてしまっていることを確認して後悔git reset --soft HEAD^で作業ディレクトリ内の内容に変更を加えず, 直前のcommitを取り消し.git logで直前のcommitが取り消されていることを確認.git statusで余計なファイルがaddされてしまっていることを確認git resetで作業ディレクトリ内の内容に変更を加えず, 直前のaddを取り消しgit statusで, addが取り消されていることを確認AtCoder Library Practice Contest - AtCoderでbinary indexed treeなるものを知ったため, http://hos.ac/slides/20140319_bit.pdf: titleを元に実装(ほとんどまるパクリ). 以下コード.
class BinaryIndexedTree():
"""
各関数のaは全て引数の値になっている前提.(0~n-1)
Attributes:
n: データ数
data: データ
"""
def __init__(self, n, data=None):
self.n=n
self.data=[0 for _ in range(n)]
if not data is None:
for i, a in enumerate(data):
self.add(i, a)
def add(self, a, w):
x=a
while x<self.n:
self.data[x]+=w
x=x|(x+1)
def sum(self, a):
if a<0:
return 0
ret=0
x=a
while x>=0:
ret+=self.data[x]
x=(x&(x+1))-1
return ret