Differences between revisions 18 and 36 (spanning 18 versions)

Python memo in Japanese

世の中に便利なパッケージがたくさんあるのがpythonの強みでもあるが、調べ物をする際にあちこち回ることになるというデメリットにもなっている。
また、GWpy本家のexamplesは検索性がよくなく、答えを知らないと必要な情報になかなかたどり着けない。
日本語で書かれた資料もほとんどないので、とっつきにくい。

そこでこのwikiページでは、やりたいことベースで大まかに分類し、pythonを使ったframe fileデータ解析でよく使う情報を日本語でメモしていく。

1. Pythonを使う準備

環境構築とかナシでとりあえずgwpyを使いたい場合
- Google Colaboratoryを使う
KAGRAメインサーバーを使う場合 (当然、KAGRAコラボレーター限定)
- アカウント申請: JGW-M191020
- スタートアップガイド: JGW-M1910076
- DMGマニュアル: https://dac.icrr.u-tokyo.ac.jp/KAGRA/DAWG/DMG/Manuals <- DAC wikiへ入る方法: JGW-L2011668
- 各データがどこにあるのか： JGW-G2214561
自分や研究室のPCを使う場合
- Windwsの場合 : WSLでLinux (Ubuntsu/Debian)を入れる
- Chromebookの場合
- Condaのインストール
共通事項
- ライブラリ(モジュール、パッケージ)のインストール
- marimo の導入
  - (参考) 古いスタイル： Jupyter (Notebook, Lab)の導入

2. GWpyで遊ぼう

3. GWpy以外のライブラリ

Y. HTCondorでジョブを投げる

KAGRA/Subgroups/PEM/PythonMemoJP (last edited 2026-01-06 09:31:31 by tatsuki.washimi)

-  ⇤ ← Revision 18 as of 2023-01-11 14:32:18 → 
  Size: 3869
  Editor: tatsuki.washimi
  Comment:
+   ← Revision 36 as of 2026-01-06 09:31:31 → ⇥
  Size: 3592
  Editor: tatsuki.washimi
  Comment:
-Deletions are marked like this.
+Additions are marked like this.
 Line 11:
-== 1. Pythonを使う環境構築 ==
+== 1. Pythonを使う準備 ==
 Line 13:
-   * [[KAGRA/Subgroups/PEM/Portable/GWpy_Chromebook|Google Colaboratoryを使う]]
+   * Google Colaboratoryを使う
 Line 15:
-   * [[KAGRA/Subgroups/PEM/UseKashiwaPC|KAGRAメインサーバーの使い方]]
+   * アカウント申請: [[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=10201|JGW-M191020]]
   * スタートアップガイド: [[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=10076|JGW-M1910076]]
   * DMGマニュアル: [[https://dac.icrr.u-tokyo.ac.jp/KAGRA/DAWG/DMG/Manuals]] <- DAC wikiへ入る方法: [[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=11668|JGW-L2011668]]
   * 各データがどこにあるのか： [[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=14561|JGW-G2214561]]
-Line 17:
+Line 20:
-   * Windwsの場合、WSLでlinux (Ubuntsu/Debian)を入れる
   * [[KAGRA/Subgroups/PEM/Conda|Condaの導入]]
+   * [[KAGRA/Subgroups/PEM/PythonMemoJP/WSL|Windwsの場合]] : WSLでLinux (Ubuntsu/Debian)を入れる
   * [[KAGRA/Subgroups/PEM/Portable/GWpy_Chromebook|Chromebookの場合]]
   * [[KAGRA/Subgroups/PEM/Conda|Condaのインストール]]
-Line 20:
+Line 24:
-   * モジュールのインストール
   * Jupyter (Notebook, Lab)の導入
+   * [[KAGRA/Subgroups/PEM/PythonMemoJP/Library|ライブラリ(モジュール、パッケージ)のインストール]]
   * [[KAGRA/Subgroups/PEM/PythonMemoJP/marimo|marimo]] の導入
     * (参考) 古いスタイル： [[KAGRA/Subgroups/PEM/PythonMemoJP/Jupyter|Jupyter]] (Notebook, Lab)の導入
-Line 24:
+Line 29:
- * [[https://github.com/gw-pem/kagra-pem/issues/90|Python でフレームファイルを読むチュートリアル]] (三代)
 * [[KAGRA/Subgroups/PEM/PythonMemoJP/ReadFile|データの読み書き]]
+ * [[KAGRA/Subgroups/PEM/PythonMemoJP/gwpy_TimeSeries|TimeSeries]](時系列波形)を使ってみよう
 * [[KAGRA/Subgroups/PEM/PythonMemoJP/gwpy_FrequencySeries|FrequencySeries]](周波数スペクトル)を使ってみよう
 * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0165/T2516508/001/read_gwf.html|フレームファイルの時系列信号を読むチュートリアル]] (要JGWdocアカウント)
 * [[https://gwdoc.icrr.u-tokyo.ac.jp/DocDB/0165/T2516509/001/design_sensitivity.html|デザイン感度スペクトルを読んでplotしてみる]]
-Line 27:
+Line 34:
+ * [[KAGRA/Subgroups/PEM/PythonMemoJP/gwpy_Plot|GWpyのPlot関連]]
-Line 28:
+Line 36:
-== X. その他 ==
+== 3. GWpy以外のライブラリ ==
-Line 30:
+Line 38:
+ * [[KAGRA/Subgroups/PEM/PythonMemoJP/map|地図の描画]]
-Line 33:
+Line 42:
+== Y. HTCondorでジョブを投げる ==
-Line 34:
+Line 44:
-----

== よく使う(インストールしておくべき)モジュールリスト ==

 * ファイル操作など
    * glob
    * os


 * 数値計算関係
    * numpy : 基本はコレ
    * scipy
    * datetime ; 時刻を扱う
    * iminuit : Fitするときに使う ([[https://hackmd.io/@tenoto/Skl_wArqD|参考]])
    * probfit : Fitするときに使う
    * lmfit : Fitするときに使う
    * bottleneck
    * pandas : 表計算をしたり、csvファイルを読み書きしたり
    * numexpr : PandasのQueryの処理を高速化する
    * pandas-profiling : pandasのデータフレームの概要を表示する


 * 描画関係
   * matplotlib : 基本はコレ
   * plotly : ブラウザ上で拡大縮小などがインタラクティブにできる
   * PyQt5 : matplotlibよりも高速で、リアルタイム描画に向いているらしい

 * 機械学習
   * tensorflow
   * scikit-learn

 * 重力波関係
   * GWpy : 基本はコレ
   * lalsuite : フレームファイルの読み書きに必要。直接使わなくてもインストール必須
   * pycbc : CBC解析 (Matched filtering とか)
   * GWDetChar : DetChar解析
   * GWSumm : サマリーページ
   * GWDataFind : 重力波データを引っ張ってくる
   * pyomicron : オミクロントリガーを使う
   * dttxml : diagguiのxmlファイルを読み込む
   * nds2utils
   * python-nds2-client

 * 天文関係
   * astropy

 * 地球物理系
   * geopandas : 位置情報入りの表計算や地図のplotなど (注意：igwn-py39を元に構築した環境には、依存性か何かのせいでインストールできない！)
   * pyprj : 地球上の距離計算
   * [[https://docs.obspy.org/|obspy]] : 地震波解析
   * [[https://github.com/MTgeophysics/mtpy|mtpy]] : 地磁気地電流法(MT法)解析

 * オーディオ関係
   * pysoundfile
   * playsound
   * python-sounddevice
   * wavio
+ * [[https://htcondor.org/index.html|公式]]
 * [[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=11049|Tutorial on HTCondor (澤田さん)]]
 * [[https://gwdoc.icrr.u-tokyo.ac.jp/cgi-bin/private/DocDB/ShowDocument?docid=11162|Change in Configuration of HTCondor on KAGRA Main Data Server (大原さん)]]