Differences between revisions 1 and 84 (spanning 83 versions)

To do List

Contents

To do List
O3 run
Weekly Maintenance (every Wednesday)
短期To doリスト
長期 To do list
Trouble shooting
To do list (O3 to O4)
To buy
1. 検討中

O3 run

#	Item	ER 6/8		ER 7/13
#	Item	Plan	State	Plan	State
1	Replace RTFE to faster one	3 PC	3/3	4 PC	4/4
2	Replace power supply of IO chassis from ATX AC-DC to stable DC-DC	2 IO chassis	1/2
3	Add BIO, ADC, DAC cards to IO chassis	4 IO chassis	3/4
4	Recording time of one frame file change to 64 seconds	-	-
5	Add 20TB storage to frame writer	-	-	2	2/2

Weekly Maintenance (every Wednesday)

Log

Date	Task	Requirement	klog
2019-12-02	Replace 18V power tap	IOO, IOO1	11924
2019-11-25	Replace storage of k1tw1, DC power supply at ETMX, Rebuild k1test0 model	ETMX	11739
2019-11-18	Network survey
2019-11-11	Replace k1fw1, DC power supply, Remove DAC from k1test0	k1fw1, k1test0, k1prm	11209
2019-10-28	Backup system disk		11458
2019-10-21	Backup system disk		11132
2019-10-07	Replace RTFE	Type-B, Type-Bp	10854
2019-09-30	Backup system disk		10771
2019-09-23	Add memory to workstation		10663
2019-09-16	Remove EPICS gateway		10536
2019-09-02	Replace k1dc0, copy trend data from SSD on k1tw1 to HDD on k1nds1		10259
2019-08-26	Replace memory of k1dc0, remove broken memory module from k1fw0, copy trend data from SSD to HDD		10123
2019-08-19	Replace k1dc0, Replace RTFE of k1ioo1, Add BIO card to k1als0	Type-B, Type-Bp	10029
2019-08-05	Add BIO cards to k1ioo1, Replace RTFE and DC power supply for IO chassis of k1prm	Type-B, Type-Bp	9806
2019-07-31	Add BIO cards to k1ioo1, Replace DC power supply for circuits of k1pr0, k1pr2, Replace k1dc0	Type-B, Type-Bp	9727
2019-07-24	Add BIO cards to k1als0, Replace RTFE of k1pr0, k1pr2	Type-B, Type-Bp	9623
2019-07-17	Replace DC power supply for IO chassis (SRM, SR3)	Type-B, Type-Bp	9544
2019-07-10	Replace DC power supply for circuits (SRM, SR3)
2019-06-26	Replace DC power supply for circuits		9357
2019-06-19	Replace RTFE	k1bs, k1sr3	9281
2019-06-12	Replace RTFE	k1bs, k1srm	9218
2019-06-05	Add cards		9104
2019-05-29	Replace RTFE		9006
2019-05-22	Power supply		8937
2019-05-15	Add cards		8879
2019-04-24	Replace RTFE		8731
2019-04-03	Replace RTFE		8549

RT model/Front-Endを止めたい作業

特になし

daqd/DAQ計算機を止めたい作業

k1tw0,1
- O3前にSSD追加
  - 1系統ずつ止めれば最低限データは残る
  - 現在k1tw1が90%超
k1tw0, k1bcst0
- BIOS時間の設定確認
  - klog10134参照
  - 今はntpdateで無理やり合わせたけど、再起動時にまたずれる可能性あり
  - 時刻を合わせたあと、これら2台のdaqdが落ちる頻度が減った気がする
  - 2019.10.21 k1tw0 設定完了

基幹部分(gate, boot, nfs...)を止めたい作業

特になし

Workstationを止めたい作業

コントロールルームのネットワークスイッチ数珠つなぎの解決

全停止に近い作業

特になし

短期To doリスト

長期 To do list

raid構築
bugzilla
消費電力管理

Trouble shooting

k1omc0 のカーネルパニック
- ファンの電源接続
k1fw0が度々再起動する dc0をv4に変えて以降は安定
IOPモデルを止めると0xbad
k1bsのDolphinカードが起動時に不具合を起こす

To do list (O3 to O4)

RTFE

RCG 3.5.1 アップデート (試験完了)
Debian RTFE
k1pr0をk1pr3に変える。
k1iooをk1ioo0に変える。
ADC firm update
- timingの取得関連のbug fix
Timing update (FPGA)
Dolphin Gen2化
BIOの枚数制限

DAQ

DAQ 3.5.1 アップデート (試験完了)
Debian DAQ (試験完了)
Frame dataの64秒化。

Client

コントロールルームのLDAP化
- EPICS gwとMatlabのライセンスが問題
k1ctr
- 環境の共通化
  - LDAPアカウントが有効化されればライブラリが勝手に変更されることはなくなる
- PXEboot化 (Docker, Ansible, etc.?)

Servers

k1gate -> 山本
- [someday] セキュリティ関連のyum update
  - yum installは完了 (2019/10/23)
  - 再起動が必要
k1grd0
- [someday] guardian version update
  - Duncanに古すぎと言われた
  - Jamieがapt-getで入れられるようにリポジトリ整備をしてくれるらしい
  - LLOに行った時Jamieに聞いてくる
- 坑内に移動
k1script
- Debian version update
- 負荷分散(2台目?)
k1cam
- V2以降に交換
  - cam0が1UでCPU使用率高い
  - Hyper Threadingありの方が多分良い

Hardware

IO chassis
- 中のADC/DACとかのS番号確認
- 新バージョンの検討
20bit DAC
- 4つのTMだけでOK?
- 8chを一枚追加でチャンネル増加。
AA/AI
Whitening
- 現在50台程度、PDが真空層内に入るとさらに必要。
ネットワーク再構築
- 10GB化
- ネットワークスイッチの管理用IPアドレス確認
- EPICSが重い
- pico専用のネットワークにする
  - カメラと同じ構成にする
- CDS adminネットワーク作成
- コントロールルームのネットワーク配線見直し
  - スイッチが数珠繋ぎになっているのを直す
- 光ケーブルの追加、両エンドへ行く3kmの話
rack関連
- PEMのケーブルがグチャグチャ。
  - PEMの回路がむき出しになっているのが多い。-> プラスチックケースになったが金属のほうがいい。
- Type Bpがラックごとに中身の配置が違う。
- 温度問題
  - コイルドライバーの隙間を開ける。
  - IMC 2nd rack, IOO 3rd rack, ALS 3rd rackがあった方がいい

Network

IP address 割り振り
- 10.68.10.0/23 : DGS
  - 10/0-255 : 固定IP
  - 11/0-255 : DHCP
- 10.68.150.0/24 : Pico motor
- 10.68.160.0/24 : DGS
- 10.68.90.0/24 : Rack PDU
- 10.68.96.0/24 : Network switch
  - 現状では10.68.96-98
- 10.68.99.0/24 : Management
- 10.68.140.0/24 : Ondotori
- 192.168.1.0/24 : DAQ

To buy

Gen2 Dolphinカード & スイッチ
20bit DACカード
Optical fiber cable (O3前)
3kmの光ファーバーケーブルの見積もり

検討中

テスター
- スマートタグ
HDD
LANケーブル
- 切れにくいもの、色の種類が豊富
- https://www2.elecom.co.jp/cable/lan/index.html#1
メモリ
- RTFE を8GBx2に変更、搭載されている３２GBメモリはk1ctrなどへ

KAGRA/Subgroups/DGS/Projects/ToDo (last edited 2021-03-03 11:13:27 by shoichi.oshino)

-  ⇤ ← Revision 1 as of 2016-06-13 14:20:31 → 
  Size: 2342
  Editor: OsamuMiyakawa
  Comment:
+   ← Revision 84 as of 2020-03-24 08:51:02 → ⇥
  Size: 9032
  Editor: shoichi.oshino
  Comment:
-Deletions are marked like this.
+Additions are marked like this.
 Line 1:
-== To do List ==
  * テスト用セットアップの構築 -> 佐々木、山本、宮川
   * k1tw0, k1tw1設置
   * RCG update to 2.9.7
   * 10GBカードのテスト
+= To do List =
-Line 7:
+Line 3:
-  * IPをclass Bに拡張 -> 山本
   * 温度計IP変更 -> 佐々木、苔山
   * switch IPを10.68.98.xxに変更
   * 計算機の野良DHCPクライアント解決
   * switchの野良DHCPクライアント解決
   * DCUID整理 -> 苔山、宮川
+<<TableOfContents(3)>>
-Line 14:
+Line 5:
-  * 外部からのEPICSアクセス確立 -> 山本

  * VNC for k1mon
   * VNCキーボード不具合解決

  * ADC2枚目問題
  * filter switchが緑になる問題

  * IRIG-B chassisを修理する
  * IRIG-B ケーブルを修理する

  * userappsの移動 -> 苔山、宮川
  * DAQ fileをSVNへ -> 苔山、宮川
  * build server設置
  * k1bootの常時バックアップ -> 山本
  * UPSの動作確認 -> 宮川
  * PCIe接続カードの員数確認 -> 宮川
  * dadのmonit化
  * 坑内計算機室エアコンモニタ用ビデオカメラ設置
  * コントロールルームの棚の穴あけ -> 宮川
  * コントロールルームの机の上のPC移動 -> 宮川
+= O3 run =
||<#C6D6FE  style="text-align:center; " rowspan="2">'''#''' ||<#C6D6FE style="text-align:center; "rowspan="2">'''Item'''  ||<#C6D6FE  style="text-align:center; " colspan="2">'''ER 6/8''' ||<#C6D6FE  style="text-align:center; " colspan="2">'''ER 7/13''' ||
||<#C6D6FE  style="text-align:center; ">'''Plan''' ||<#C6D6FE  style="text-align:center; ">'''State''' ||<#C6D6FE  style="text-align:center; ">'''Plan''' ||<#C6D6FE  style="text-align:center; ">'''State''' ||
||1 ||Replace RTFE to faster one || 3 PC || 3/3 || 4 PC || 4/4 ||
||2 ||Replace power supply of IO chassis from ATX AC-DC to stable DC-DC || 2 IO chassis || 1/2 || || ||
||3 ||Add BIO, ADC, DAC cards to IO chassis || 4 IO chassis || 3/4 || || ||
||4 ||Recording time of one frame file change to 64 seconds || - || - || || ||
||5 ||Add 20TB storage to frame writer || - || - || 2 || 2/2 ||
-Line 37:
+Line 15:
-  * --(EX, EY遅延測定)-- -> 三代 (done)
  * --(RFM高速化オプション試す)-- -> (No need)
  * --(コントロールルームの棚作る)-- -> 宮川 (done: 2016/6/7)
+= Weekly Maintenance (every Wednesday) =
== Log ==
||<#C6D6FE  style="text-align:center; ">'''Date''' ||<#C6D6FE style="text-align:center; ">'''Task'''  ||<#C6D6FE  style="text-align:center; ">'''Requirement''' ||<#C6D6FE  style="text-align:center; ">'''klog''' ||
|| 2019-12-02 || Replace 18V power tap || IOO, IOO1 || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=11924|11924]]  ||
|| 2019-11-25 || Replace storage of k1tw1, DC power supply at ETMX, Rebuild k1test0 model || ETMX || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=11739|11739]]  ||
|| 2019-11-18 || Network survey ||  ||  ||
|| 2019-11-11 || Replace k1fw1, DC power supply, Remove DAC from k1test0 || k1fw1, k1test0, k1prm || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=11209|11209]]  ||
|| 2019-10-28 || Backup system disk ||  || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=11458|11458]]  ||
|| 2019-10-21 || Backup system disk ||  || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=11132|11132]]  ||
|| 2019-10-07 || Replace RTFE || Type-B, Type-Bp || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=10854|10854]]  ||
|| 2019-09-30 || Backup system disk || || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=10771|10771]]  ||
|| 2019-09-23 || Add memory to workstation || || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=10663|10663]]  ||
|| 2019-09-16 || Remove EPICS gateway || || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=10536|10536]]  ||
|| 2019-09-02 || Replace k1dc0, copy trend data from SSD on k1tw1 to HDD on k1nds1 ||  || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=10259|10259]]  ||
|| 2019-08-26 || Replace memory of k1dc0, remove broken memory module from k1fw0, copy trend data from SSD to HDD ||  || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=10123|10123]]  ||
|| 2019-08-19 || Replace k1dc0, Replace RTFE of k1ioo1, Add BIO card to k1als0 || Type-B, Type-Bp || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=10029|10029]]  ||
|| 2019-08-05 || Add BIO cards to k1ioo1, Replace RTFE and DC power supply for IO chassis of k1prm || Type-B, Type-Bp || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=9806|9806]] ||
|| 2019-07-31 || Add BIO cards to k1ioo1, Replace DC power supply for circuits of k1pr0, k1pr2, Replace k1dc0 || Type-B, Type-Bp || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=9727|9727]] ||
|| 2019-07-24 || Add BIO cards to k1als0, Replace RTFE of k1pr0, k1pr2 || Type-B, Type-Bp || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=9623|9623]] ||
|| 2019-07-17 || Replace DC power supply for IO chassis (SRM, SR3)|| Type-B, Type-Bp || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=9544|9544]] ||
|| 2019-07-10 || Replace DC power supply for circuits (SRM, SR3)||  ||  ||
|| 2019-06-26 || Replace DC power supply for circuits ||  || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=9357|9357]] ||
|| 2019-06-19 || Replace RTFE || k1bs, k1sr3 || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=9281|9281]] ||
|| 2019-06-12 || Replace RTFE || k1bs, k1srm || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=9218|9218]] ||
|| 2019-06-05 || Add cards || || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=9104|9104]] ||
|| 2019-05-29 || Replace RTFE || || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=9006|9006]] ||
|| 2019-05-22 || Power supply || || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=8937|8937]] ||
|| 2019-05-15 || Add cards || || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=8879|8879]] ||
|| 2019-04-24 || Replace RTFE || || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=8731|8731]] ||
|| 2019-04-03 || Replace RTFE || || [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=8549|8549]] ||
-Line 42:
+Line 47:
+== RT model/Front-Endを止めたい作業 ==
 * 特になし
-Line 43:
+Line 50:
- * 長期 To do list
+== daqd/DAQ計算機を止めたい作業 ==
  * k1tw0,1
    * O3前にSSD追加
      * 1系統ずつ止めれば最低限データは残る
      * 現在k1tw1が90%超
  * --(k1tw0)--, k1bcst0
    * BIOS時間の設定確認
      * [[http://klog.icrr.u-tokyo.ac.jp/osl/?r=10134|klog10134]]参照
      * 今はntpdateで無理やり合わせたけど、再起動時にまたずれる可能性あり
      * 時刻を合わせたあと、これら2台のdaqdが落ちる頻度が減った気がする
      * 2019.10.21 k1tw0 設定完了

== 基幹部分(gate, boot, nfs...)を止めたい作業 ==
  * 特になし

== Workstationを止めたい作業 ==
  * コントロールルームのネットワークスイッチ数珠つなぎの解決

== 全停止に近い作業 ==
  * 特になし

-----
= 短期To doリスト =


= 長期 To do list =
-Line 45:
+Line 77:
-  * backup server立てる
  * ファイルのsvnへの登録
  * backup HDDの整理確認
  * ADCフルチェック
  * DACフルチェック
   * DAC noise with AC出力
+  * bugzilla
  * 消費電力管理
-Line 52:
+Line 80:
-  * switch firmware update
  * timing slave update
  * GPSアンテナ茂住坑口へ移動
  * 太い光ファイバーケーブル検討
-Line 57:
+Line 81:
-  * /!\ TDSにsyncできない問題
  * /!\ RFM error
  * /!\ CPU max問題
+= Trouble shooting =
  * k1omc0 のカーネルパニック
   * ファンの電源接続
  * --(k1fw0が度々再起動する)-- dc0をv4に変えて以降は安定
  * IOPモデルを止めると0xbad
  * k1bsのDolphinカードが起動時に不具合を起こす
-Line 61:
+Line 88:
-  * DAQ系の計算機をdebian?に変更
  * bugzilla
  * RTPC network用NAT
  * 消費電力管理
  * 1U計算機修理
  * UPS追加
+-----
= To do list (O3 to O4) =
=== RTFE ===
 * RCG 3.5.1 アップデート (試験完了)
 * Debian RTFE
 * k1pr0をk1pr3に変える。
 * k1iooをk1ioo0に変える。
 * ADC firm update
   * timingの取得関連のbug fix
 * Timing update (FPGA)
 * Dolphin Gen2化
 * BIOの枚数制限
=== DAQ ===
 * DAQ 3.5.1 アップデート (試験完了)
 * Debian DAQ (試験完了)
 * Frame dataの64秒化。
=== Client ===
 * コントロールルームのLDAP化
   * EPICS gwとMatlabのライセンスが問題
 * k1ctr
   * 環境の共通化
     * LDAPアカウントが有効化されればライブラリが勝手に変更されることはなくなる
   * PXEboot化 (Docker, Ansible, etc.?)
=== Servers ===
 * k1gate -> 山本
   * [someday] セキュリティ関連のyum update
     * yum installは完了 (2019/10/23)
     * 再起動が必要
 * k1grd0
   * [someday] guardian version update
     * Duncanに古すぎと言われた
     * Jamieがapt-getで入れられるようにリポジトリ整備をしてくれるらしい
     * LLOに行った時Jamieに聞いてくる
   * 坑内に移動
 * k1script
   * Debian version update
   * 負荷分散(2台目?)
 * k1cam
   * V2以降に交換
     * cam0が1UでCPU使用率高い
     * Hyper Threadingありの方が多分良い
=== Hardware ===
 * IO chassis
   * 中のADC/DACとかのS番号確認
   * 新バージョンの検討
 * 20bit DAC
   * 4つのTMだけでOK?
   * 8chを一枚追加でチャンネル増加。
 * AA/AI
 * Whitening
   * 現在50台程度、PDが真空層内に入るとさらに必要。
 * ネットワーク再構築
   * 10GB化
   * ネットワークスイッチの管理用IPアドレス確認
   * EPICSが重い
   * pico専用のネットワークにする
     * カメラと同じ構成にする
   * CDS adminネットワーク作成
   * コントロールルームのネットワーク配線見直し
     * スイッチが数珠繋ぎになっているのを直す
   * 光ケーブルの追加、両エンドへ行く3kmの話
 * rack関連
   * PEMのケーブルがグチャグチャ。
     * PEMの回路がむき出しになっているのが多い。-> プラスチックケースになったが金属のほうがいい。
   * Type Bpがラックごとに中身の配置が違う。
   * 温度問題
     * コイルドライバーの隙間を開ける。 
     * IMC 2nd rack, IOO 3rd rack, ALS 3rd rackがあった方がいい
-Line 68:
+Line 157:
-  * コントロールルーム拡張
  * コントロールルームモニタ追加
  * コントロールルームにセキュリティーのビデオを映す
+=== Network ===
 * IP address 割り振り
  * 10.68.10.0/23 : DGS
   * 10/0-255 : 固定IP
   * 11/0-255 : DHCP
  * 10.68.150.0/24 : Pico motor
  * 10.68.160.0/24 : DGS
  * 10.68.90.0/24 : Rack PDU
  * 10.68.96.0/24 : Network switch
   * 現状では10.68.96-98
  * 10.68.99.0/24 : Management
  * 10.68.140.0/24 : Ondotori
  * 192.168.1.0/24 : DAQ
-Line 72:
+Line 171:
-  * rack増設: k1lsc, k1asc1, k1asc2, k1mmt, k1px1-5, k1py1-5, k1bs, k1sr0, k1sr2, k1ex1-2, k1ey1-2 
  * 20bit DACテスト
  * Yend ネットワーク敷設工事
  * IO chassis追加
  * Timing slave, fanout, IRIG-B追加
+-----
= To buy  =
 * Gen2 Dolphinカード & スイッチ
 * 20bit DACカード
 * Optical fiber cable (O3前)
 * 3kmの光ファーバーケーブルの見積もり

== 検討中 ==
 * テスター
  * スマートタグ
 * HDD
 * LANケーブル
  * 切れにくいもの、色の種類が豊富
  * https://www2.elecom.co.jp/cable/lan/index.html#1
 * メモリ
  * RTFE を8GBx2に変更、搭載されている３２GBメモリはk1ctrなどへ