Real Time Model Development

コンセプト

• メンテナンスの手間を減らすために、各サスペンションで使うステージのブロックは共通化する。
• 共通化で生じたステージブロックの不要な入出力は終端処理しておく。
• サスペンションモデルは”制御方法の違い"ごとに、ブロックを分ける。

サスペンションモデル

防振装置の役割に応じて、サスペンションのRTモデルを2つに分ける。

• まず、LIGOの防振がSEIとSUSで分かれているように、KAGRAも分ける。
• 慣習に従って、TowerとPayloadの2つのRTモデルに分ける。
• ただし、例外として、Type-CはPayloadのみにする。

Towerモデル

• TowerはLIGOのSEIに相当し、Pre-isolator、BFダンパー、GASを含むモデル。
• Towerモデルは、1種類のブロックを用意する。
• （追記：TypeA,B,Bpでタワー部分の制御方法が違うので、3種類にするかもしれない。）

Payloadモデル

• PayloadはLIGOのSUSに相当し、BF以下の振り子を含むモデル。
• Payloadモデルは、4種類のブロックを用意する。
  • Type-A用のモデル
  • Type-BとBp用のモデル
  • Type-CのIMC用のモデル
  • Type-CのOMC用のモデル

ファイル

ライブラリモデル (/opt/rtcds/userapps/release/vis/common)

• ./VIS_LIB.mdl : 共通で使うブロックを置く場所。
  • たくさんあるので省略。
• ./TOWER_MASTER.mdl
  • ./PI(旧TOWER_MASTER) : TypeA,B,Bp用
• PAYLOAD_MASTER.mdl
  • ./CRY(旧CRYOPAYLOAD_MASTER) : TypeA用
  • ./PAY(旧PAYLOAD_MASTER) : TypeB,Bp用
  • ./IMC(旧TYPEC_MASTER/IMC) : IMCの3つ,IMMT1,2用
  • ./OMC(旧TYPEC_MASTER/OMC) : OSTM,OMMT1,2用

主な構成

• TOWER_MASTER

• PAYLOAD_MASTER

サスペンションモデル　(/opt/rtcds/userapps/release/vis/k1)

• ./
  • k1vis{optics}t.mdl : TypeA,B,Bpのすべてのサスペンション
  • k1vis{optics}p.mdl : TypeA,B,Bpのすべてのサスペンション
  • k1vis{optics} : TypeCのすべてのサスペンション

RTM Status

2021/04/05 updated

• [6] スケジュールにはTMSをやる時間がないが、一応モデルの場所は把握しておく。ほとんど触っていないし中身も知らない。

モデル編集

作業の流れ

1.既存モデル編集時のみ：mdl、Foton、DAQファイルを一旦バックアップ

 $ userapps
 /opt/rtcds/userapps/release
 $ cd vis/common/models または cd vis/k1/models
 編集するモデルファイルのコピーを作成しておく（編集前の比較用）
 $ chans
 /opt/rtcds/kamioka/k1/chans
 　K1VISxxx.txt : Foton File
 $ cd daq/
 /opt/rtcds/kamioka/k1/daq
 K1VISxxx.ini : DAQ File

2.MATLAB(mdlファイル)の編集

　Terminalを開き
 $ matlab &

新規モデルの場合は、DCU ID、CPUを他のモデルと重複しない番号に変更

3.ビルド前の確認

 [sitemap]-[VIS]-[VIS_OVERVIEW]
 サスペンションはSAFEにすること。
 SDFが0であること。
 GDSがオールグリーンであること。

3.RealTimeModelのPCへログイン、make ,make install,startを行う

 [sitemap]-[CDS]-[CDS]でPC名を確認
 $ ssh k1xx (ex.k1EX1)
 ビルドフォルダへ移動
 $ cdscode
 make実行
 $ make k1visXXX
 install実行
 $ make install-k1visXXX
 モデルの再起動
 $ startk1visXXX

 モデルの再起動時に条件を満たせば次のコマンドを使用して時間短縮が行えます。
 [条件]SDFのK1:FEC-xxx_SDF_DIFF_CNTが0の時
 cd /opt/rtcds/userapps/release/cds/common/scripts
 ./restart_slave_model.sh [モデル名]
 iopの場合は、コマンドが異なるので要注意です。

 モデルが起動したら次の作業を行う。

• 別途AutoBuildも使えます。

4.新規のモデルの場合のみ次の手順を実施する

K1:FEC-xx_BURT_RESTOREを0から1に変更

新規のモデルファイルの場合は
caput K1-FEC-xx_BURT_RESTORE 1
が成功するまで設定を行う。チャンネルがないなどでエラーになった場合は設定できるまで繰り返す。　
Shell Scriptで実施すると便利。
while:
do
caput K1-FEC-xx_BURT_RESTORE 1
sleep 0.5
done

K1:FEC-xx_STATE_WORDの状態確認

sitemap-CDS-CDS-!refreshを押下してモデル名が表示されるまでしばらく待つ(1min)。
1.sitemap-CDS-CDSのモデル名のボタンを押下して　K1xxx_GDS_TP.adlを表示
2.STATE WORD-FEが赤表示の場合はモデルを再起動して
caput K1-FEC-xx_BURT_RESTORE 1を再度実施する。
FE-NETが赤,DCが白抜きは現状では無視して良い。

SDF(safe.snap)を新規に作成

1.sitemap-CDS-CDSのモデル名のボタンを押下して　K1xxx_GDS_TP.adlを表示
2.SDF TABLE-SDF SAVE SCREENを開く
 SAVE TABLE OR EPICS DB: EPICS DB TO FILE
 FILE OPTINS SELECTION: SAVE AS
 SAVE AS FILE NAME: safe
 SAVE FILEボタンを押下して、safe.snapを保存する。
3.SDF RESTORE SCREEN-LOAD TABLEを押下してsafe.snapを読み込む

mx_streamにモデルを登録して再起動

FE-NET(K1:FEC-xxx_FB_NET_STATUS)が赤の場合行います。
1.k1bootにログインしてrtsystabを編集
$ ssh k1boot
$ sudo emacs /diskless/root/etc/rtsystab
モデルを適当なところへ追加
2.mx_streamの再起動
sitemap-DAQ Status-!mx_streamを押下、ログを見て更新されているか確認
うまく行かない場合は手動でmx_streamを再起動する
$ ssh k1xxx(RTCPCへログイン)
$ sudo /etc/init.d/mx_stream restart

5.SDFの設定

 [sitemap]-[VIS]-[VIS_OVERVIEW]
 CHANS NOT FOUND がある場合:[SDF RESTORE SCREEN]-[LOAD TABLE]を押す 
 CHANS NOT INITがある場合:[MON]([ACCEST]を含む)にして、[CONFIRM]を押す

6.Trippe Monitorが赤の場合

  [sitemap]-[VIS]-[VIS_OVERVIEW]
   - [Trippe]-[WD],[DK]を押す
　押しても緑にならない場合は、WDに引っ掛かっている為、対象のEPICSチャンネルの閾値等へ値を設定する必要があると思われます。

7.GDSが赤の場合

 [sitemap]-[VIS]-[VIS_OVERVIEW]-[GDS]
  [FE]が赤の場合
   復旧方法: 
    $ caput K1-FEC-xx_BURT_RESTORE 1
    を実行する。
    上手くいかない場合は、モデルを再起動して上記を実行する。

  [TIM] or [IPC]が赤の場合
   復旧方法: [Diag Reset]を押す
  [TIM]の赤が消えない場合
　　復旧方法を試しても消えない場合は、ADCカードのファームウエアバージョンを確認する。
　　RCG.3.1.1の場合、REV.B:OK、REV.C:NG(REV.Cは２種類あるとの情報もあり未確認)

  [ADC], [DAC]が赤の場合
   復旧方法: iopを含むすべてのモデルの再起動を行う。復帰しない場合はHWトラブルを考える。

  [AWG]が赤の場合
   復旧方法: [sitemap]-[VIS]-[VIS_OVERVIEW]-[Tool]-[start awgtpan]を選択
            または、[sitemap]-[CDS]-[CDS]のCFCの隣の黄土色のボタンから[Admin only]-[start awgtpan]を押す

  [DK]が赤の場合
   既存モデルの場合
   復旧方法:  [sitemap]-[VIS]-[VIS_OVERVIEW]-[WD]を押下して、該当するモデルの赤になっている表示の横のボタンを押下する(ex.[WD],[DK],[IP],[GAS]...)
   DACカードを追加した場合
   k1iopモデルとユーザーのモデル両方にDACの追加が必要。特にユーザーモデル側にDACの追加がないとDKが赤のままになります。

  [EXC]が赤の場合
   復旧方法: 測定中している人がいる

  [OVF]が赤の場合
   復旧方法: 書きかけ。。。

  [CFC]が赤(黄)色の場合
   復旧方法:
     DAQされているチャンネルがモデルにない時に発生します。
     例えば、モデルのインストール(make XXXとmake installXXX)まで完了して、再起動(startXXX)せずにDAQを再起動すると発生します。
     この場合は、モデルの再起動(startXXX)のみを行えば改善します。

  [DC]
    [Status]が0x2000の場合
     復旧方法: DAQの再起動を行う
    
    [Status]が0xbadの場合
     復旧方法: [CDS]-[DAQ Status]-[!mx_stream]を押す

  [DAQ LOAD]に差分がある場合
   復旧方法: [DAQ LOAD]を押す。

  [Sync Source]
   iop: TDSが正常時
      No Sync:iopのみ再起動した場合に発生する。この場合は、iopとiop以外の全てのモデルの再起動を行う。
   iop以外:IOPが正常時

8.Fotonファイルの編集とロード

モデルを２つに分割する場合のみ次の手順を実施

safe.snapを分割したモデルに適用する方法

 [sitemap]-[VIS]-[VIS_OVERVIEW]-[SDF]
 元のモデルのsafe.snapファイルをsafeold.snapにリネーム
 新規モデルで
 1.[SDF SAVE SCREEN]-[FILE OPTIONS SELECTION]を[SAVE AS]にして[SAVE AS FILENAME]へ[safe]にする
 2.[SDF RESTORE SCREEN]からsafe.snapを[LOAD TABLE]
 3.NOT INITは全て[MON]-[CONFIRM]
 4.safeold.snapを[LOAD TABLE]
 5.[SETTING]-[REVERT]-[CONFIRM]
 6.safe.snapを選択[LOAD TABLE]
 7.全て[ACCEPT]-[CONFIRM]

Fotonファイルの確認

 Fotonファイルの整合性の確認
 $ foton
 Fileから対象のK1VISxxx.txtを選択
 [File]ボタンを赤くなったら編集が必要、色が変わらなければ作業不要
 赤の場合はFotonファイルをテキストエディタで開き、新、旧のモデルファイルで同じ意味を持つフィルタは名称の変更を、該当しない場合は削除する。
 $ emacs K1VISxxx.txt
 赤で無くなるまで続ける。

9.[sitemap]-[CDS]-[CDS}からGDSを開き[COEFF LOAD]を押す

10.新規モデル、またはモデル削除の際は、DAQへの登録、削除が必要

 /opt/rtcds/kamioka/k1/target/fb へ移動
 $ target
 $ cd fb
 masterファイルを編集
 $ emacs master
 /opt/rtcds/kamioka/k1/chans/daq/K1XXX.ini
 /opt/rtcds/kamioka/k1/target/gds/param/tpchn_xxx.par
 の２行セットで編集すること。不要になっても削除せず#にてコメントアウトにしておく。(他の人が見てわかるように) 
 修正後はDAQを再起動する

11.Fotonファイルを/opt/rtcds/userapps/release/vis/k1/fotonfilesへコピー

12.不必要なファイルを削除

トラブルシュート

ビルドエラー

IPCx component (3) K1:xxx not found in IPCx parameter file /opt/rtcds/kamioka/k1/chans/ipc/K1.ipc

 モデル間でSHMEMが共通の場合、参照先をビルドするとエラーになります。その場合２回makeをする必要になるケースがあります。エラーになった場合再度makeすると改善します。
 相互参照している場合、４回ビルドが必要になるかもしれません。
 ex.
 k1visitmytとk1bisitmypの２つのモジュールがあり、K1:VIS-ITMY_ISC_MN_OUTがPayloadに定義されていてそれをTower側で使おうとして先にTowerをビルドすると次のエラーが発生します。これはK1.ipcにまだ定義がない為発生するのでこれを避けるためには、PayloadをビルドしてからTowerをビルドします。
 ### IPCx component (3) K1:VIS-ITMY_ISC_MN_OUT not found in IPCx parameter file /opt/rtcds/kamioka/k1/chans/ipc/K1.ipc
 ***ERROR: The following IPCx RECIVER module(s) not found in the file /opt/rtcds/kamioka/k1/chans/ipc/K1.ipc:
   K1:VIS-ITMYP_ISC_MN_OUT
 ***ERROR: Aborting (this code can only automatically and IPCx SENDER modules)

 $ make k1visXXXt
  エラーが出る
 $ make k1visXXXp
 もう一度makeをする
 $ make k1visXXXt

Faild to perse the MDL file merging referrences at SystemXX.

１つのファイルの中で名称が被ると発生します。
例えばPAYLOAD_MASTERでMN,IMとか単純な名称をつけてCRYO_PAYLOAD_MASTERの中でMN,IMをLibrary linkで名称を変更せずに使用するとSystemMNとかSystemIMのエラーが発生します。
Library linkする場合、元の名称は_(アンダースコア)なしの長めの名称にして、使用時に名称を変更することが必要です。

ERROR: At least one ADC partin required in the model

１つのモデルには最低１つのADCが必要です。他のモデルを参考にエラーの出たモデルへADCをTerminateした状態で記述する。

ERROR: IPCx type mis-match for IPCx component K1:xxx IRFM0 : IRFM0 vs. IRFM1

このエラーはcdsIPCx_RFMが使用されているが、参照元の定義がない場合に出ます。
参照元の名前がある場合は、参照先で参照元で定義されたcard番号等が記述を間違っている可能性があるので確認してみる。
分からなければ参照元をコピーして再度参照先に貼り付けると直ります。

Couln’t find a signal XXX in the bus

Available signals：YYY1,YYY2

XXXにあるYYY1,YYY2が見つからない。
例えばADC Selectorなどで名前を変更忘れなど???とか表示されている場合に発生するエラーです。
該当する名称の見直し、またはつけ直しをすることで解消できます。

Processing output port #XX name=YYYY

Disconnected output port

port #XX name=YYYYがその先接続がない時に出力されます。
接続先を確認、Terminateする等の修正が必要です。

/opt/rtcds/kamioka/k1/rtbuild/rt-3.1.1/src/fe/k1XXX/k1XXX.c:YYY: error: expected expression before ';' token

Partsが未接続の時に発生するエラーです。どのPartsかはエラーだけでは分からないので、修正箇所を再確認するか、ソースコードの行数YYYを参考にしてどのPartsか確認してください。

*** ERROR: Can't find a Goto for a From XXX

*** ERROR: The Goto must be in the same subsystem

 Fromラベルはあるが、対応するGotoラベルがない時に発生するエラーです。
 From、Gotoラベルが必要なのか不要なのか見直しを行いましょう。

Part XXX needs a single MUX input, detected Filt

cdsMuxMatrixとcdsFiltやラベルで繋げようとすると発生します。
cdsMuxMatrixの両端にMux, Demuxを配置して接続すると解消します。

Bad DAQ channel rate specified: xxx, 16

DAQの最低レートは32のようです。
#DAQ Channels定義を見直す必要があります。

Parser3.pm#L.1436

K1:XXX-YYY

Died at /opt/rtcds/rtscore/tags/advLigoRTS-3.1.1/src/epics/util/fmseq.pl line 1330.

EPICSチャンネル自体を、DAQ Channelsに記述した場合にこのエラーが発生します。
この場合は不要なので削除すると直ります。

SDF

モデルを新規に作成したがSDF SAVE SCREENのSAVE FILEボタンを押しても保存されない

モデルファイルの名称にepicsを含めるとSAVE FILEボタンが押せなくなります。
ex. k1sdfepics.mdlとかはNGです。
この場合は名称を変更しましょう。

Guardian

CONNECTION ERROR, see SPM DIFFS for dead channel.

EZCA CONNECTION ERROR: Could not connect to channel.

Guardianの中で使っているEPICSチャンネルをモデルから削除した、またはモデルに追加していない為見つからないエラーです。
前者の場合は、Guardian側の修正が必要になる。後者の場合は、モデル側の修正が必要です。

DAC

iopモデルのDACが赤になる

[sitemap]-[CDS]-[CDS}
k1iopXXXのDACが赤の場合に考えられる不具合

(1) Timing jumpでDACが打刻タイミング見失うパターン
(2) IO chassis内ケーブルの接触不良
(3) DAC故障
(4) ケーブル回りをメンテした場合も発生するかもしれない(2021-11-02)

[対策]
上記(1),(4)はモデル再起動
(2),(3)ならば再起動では治らないので修繕が必要
[モデル再起動手順]
1.iop以外killk1visXXX
2.iopをstartk1iopXXX
3.iop以外をstartk1visXXX
上記、kill,start以外に高速停止、再起動も使用できます。
$ cd /opt/rtcds/userapps/release/cds/common/scripts/
$ ./stop_iop_model.sh k1iopXXX
$ ./stop_slave_model.sh k1visXXX
$ ./restart_iop_model.sh k1visXXX
$ ./restart_slave_model.sh k1visXXX

OVERFLOWのカウンタが0ではない

瞬間的なものでモデル立ち上げ時かスクリプトでの自動測定関連であれば問題なし
発生し続けている場合は別問題

DAQ

DAQチャンネルのデータレート毎の個数などが知りたい。

/opt/rtcds/rtscore/release/src/epics/util/iniChk.plを
/opt/rtcds/kamioka/k1/chans/daq配下のファイルを指定して確認できる。

例:
$ chans
$ cd daq
$ /opt/rtcds/rtscore/release/src/epics/util/iniChk.pl K1VISPRMT.ini

モデルファイルのDAQ Channelsにチャンネルを記述した場合のDAQへデータ出力について

FW,TWからCommissioning Frames(full)とScience Frames(science)へ出力されるデータが変わる。

* DAQ Channelsにチャンネルを書かない場合
fullとscienceの両方へ、16Hzのデータが出力される。
_DQは出力されない
* DAQ Channelsにチャンネルを書いた場合
　　fullには、記述したレートの_DQが出力される。
　　scienceには、16Hzのデータが出力される。
* DAQ Channelsへ*付きのチャンネルを書いた場合
　　full、scienceの両方へ、記述したレートのデ_DQが出力される。

trend(minuteとsecond)は、それぞれ１分、1秒平均の５パラメータ(min, max, n, rms, mean)が出力される。データは含まれない。

その他

DAQの増減があった場合は、DAQの再起動(DAQ Kill)を行う必要があるが、[DAQ_KILL]のまま[RUN_TEST]に復帰しない場合の復帰手順

 [sitemap]-[CDS]-[DAQ Status]-[SYS_DAQ]を押下
 [RUN_TESTS]になっている状態から[DAQ_KILL]を選択
 その際、OPが[EXEC]になっていなければ先に[EXEC]に変更
 
　上記[DAQ_KILL]状態で止まっていて、[SPM DIFFS]がある場合は、次の手順で[DAQ_KILL]を行う必要があります。
　特にDAQチャンネルを削除した場合に発生します。
　OP:[EXEC]→[STOP]に変更、[LOAD]を押す、[all]を押して、[MANUAL]に変更して[RUN_TESTS]にする。
 [RUN_TESTS]になったら[AUTO]に戻して、[STEP]から[EXEC]に変更する。
　ここで[DAQ_KILL]を選択。
 (RUN_TESTにならない、DAQが0xbadのままならば[!mx_stream]を押してみる。)

RealTimeModelのPCが落ちた場合の復旧方法

DolphinありのFEの場合は、１と２を実施
DolphinなしでRFMとかのFEは２から実施

1.モデルがハングしたFEのDolphinをDisableする

コマンドラインでsitemapを開いてログが見られるようにする。

$ sitemap
[sitemap]-[CDS]-[Dolphin]を開く
[README]を読む
[!dxadmin]を開いて状況を確認する。
該当するFEのスクリプトを実行してDisableにする。
ex.[!k1pr2]、パスワードはいつもの
注意：後述する[!dxadmin]の状況で赤丸の表示になっているFEは既にDisableされているので再度Disableはしないこと！


他のFEも道連れになることがあるがこの場合は、坑内で復旧作業が必要です。

2.上記1でDisableにしたFE、または既にDisableになってしまっているFEを再起動する。

FEにログインできる場合：
nslookupでIPを見つける。またはWIKIからIPを探す。
ex. $ nslookup k1ey1 とか
このIPにログインして再起動を試す。
$ sudo shutdown -r now

ログインできない場合：
このIPアドレスを使いブラウザでアクセスしてみる。
その際のIPアドレスは次のように３番目を99にする
ex. 10.68.10.221 ならば10.68.99.221にしてブラウザで表示
ユーザー名、パスワードはCDSへ問い合わせ
Resetを行う。
あとは祈る。起動しなければ坑内作業にてFEを再起動する。

参考

LIGO-T080135: AdvLigo CDS Realtime Code Generator (RCG) Application Developer’s Guide

LIGO-T080135: Real-time Code Generator (RCG) Application Developer’s Guide

LIGO-T1200291: Real-time Code Generator (RCG) Software Component Overview

LIGO-T1500115: Real-time Code Generator (RCG) SDF Software