DAQのエラーログ解析

DAQ Timing Errorが発生する。
このエラー対策の成果について確認をする。

DAQのログ解析を行いDAQエラーとの突き合わせを行う。

データ
Fig.1 2022年のAsk for retransmission errorとDAQ_OKの比較
Fig.2 2022年のAsk for retransmission error
Fig.3 2022年のK1:GRD-SYS_DAQ_OK

Fig.4 2021年のAsk for retransmission errorとDAQ_OKの比較
Fig.5 2021年のAsk for retransmission error
Fig.6 2021年のK1:GRD-SYS_DAQ_OK

Fig.1,4はそれぞれ2,3、5,6を合成した。
Fig.2と5は、DAQのログファイルの"Ask for retransmission XX packet port 7097"エラーの数とpacket数の日々の合計をスクリプトで集計してグラフ化した。
/users/DAQ/daqd_log_analize/daqdlogana.py
Fig.3と6はndscopeにて期間を指定して取得した。

解析

Fig.1-1
 DAQとDGSのLANケーブルを交換した。
 この期間は徐々にDAQ_OKが改善しているように見える。

Fig.1-2
 3/3のK-Log#19981にてVISダミーチャンネルを削除したくらいからDAQ_OKがエラーになる割合が増えた。
 4/9あたりからはこれは試験で頻度があがっただけでした。

Fig.1-3
 DAQサーバーの設定をFIFOに変更したが"Ask For..."エラーが多発した。
 後にdaqdの親もFIFOに変えて頻度が下がった。

Fig.1-4
 DAQのSwapをDisableにして試験を行っている。
 "Ask For..."エラーは少ないが、一回のエラーPacketの数が増えている。
 DAQエラーは低下しているように見える。

結果
ここまでで分かっていること。

1. "Ask For..."エラーの発生頻度とDAQ_OKがエラーになる頻度は必ずしも一致しない。
 しかし"Ask For..."エラーの増減が多い箇所と、DAQ_OKがエラーになる頻度は似ている。
 packetsの個数はDAQ_OKのエラー頻度とは関係がない。
 
2. daqdの親プロセスが遅延するとk1tw0とk1tw1の"Ask For..."エラーの頻度は高くなる。
 この場合も必ずしもDAQ_OKがエラーになる頻度は増えない。

3. K-Log#20717+21102にてdaqdを全てFIFOに変更してからの様子。
 "Ask For..."エラーの状況が変化した。
 変更前、fw0は常にエラーが平均100くらい発生していた。
 しかしfw0の"Ask For..."エラーが少なくなった。
 そしてfw1が悪くなった。
 ただし１回あたりのpacketsの個数は増えている。
 これらについは１週間程度様子を見る。

 ---
DAQ Error Log Analysis

DAQ Timing Error.
Check the results of countermeasures against this error.

Analyze the DAQ log and check against the DAQ error.

Data
Fig.1 Comparison of Ask for retransmission error and DAQ_OK in 2022
Fig.2 Ask for retransmission error in 2022
Fig.3 K1:GRD-SYS_DAQ_OK in 2022

Fig.4 Comparison of Ask for retransmission error and DAQ_OK in 2021
Fig.5 Ask for retransmission error in 2021
Fig.6 K1:GRD-SYS_DAQ_OK in 2021

Figs. 1 and 4 are composites of 2, 3, 5, and 6, respectively.
Figs. 2 and 5 are graphs of daily totals of the number of "Ask for retransmission XX packet port 7097" errors and the number of packets in the DAQ log file, compiled by a script.
/users/DAQ/daqd_log_analize/daqdlogana.py
Fig.3 and 6 were obtained by specifying the period in ndscope.

Analysis

Fig.1-1
 DAQ and DGS LAN cables were exchanged.
 DAQ_OK seems to improve gradually during this period.

Fig.1-2
 The percentage of DAQ_OK errors increased around the time I removed the VIS dummy channel in K-Log#19981 on 3/3.
 Around 4/9, this was just a test that increased in frequency.

Fig.1-3
 DAQ server setting was changed to FIFO, but "Ask For..." errors occurred frequently.
 Later, the parent of daqd was also changed to FIFO, and the frequency decreased.

Fig.1-4
 The test was performed with DAQ's Swap disabled.
 "Ask For..." Fewer errors, but more error Packets at a time.
 DAQ errors appear to be decreasing.

Result.
What we know so far.

1. "Ask For..." The frequency of errors and the frequency of DAQ_OK errors do not necessarily match.
 However, "Ask For..." The frequency of errors and the frequency of DAQ_OK errors are similar.
 The number of packets has nothing to do with the error frequency of DAQ_OK. 
 
2. If the parent process of daqd is delayed, the frequency of "Ask For..." errors in k1tw0 and k1tw1 increases.
 This also does not necessarily increase the frequency of DAQ_OK errors. 

3. after changing all daqd to FIFO in K-Log#20717+21102.
 "Ask For..." The error situation changed.
 Before the change, fw0 always had an average of 100 errors.
 However, fw0's "Ask For..." errors decreased.
 And fw1 became worse.
 However, the number of packets per time has increased.
 We will see how it goes for about a week.