CAUNet训练今天是跑完了,但是出错误。忘了截图了,出来的所有验证都是9KB,明显是不对的。而且仔细看了一下,第四折看起来很奇怪:
速度倒是很快,但是这曲线给我看傻了。怪不得验证的时候一直报错。最近跑这几个自定义网络,经常出现前几个epoch全0的情况,不知道咋回事。有的时候重新跑一跑就好了,很奇怪很奇怪。先这样跑着,说不定过一段时间就知道了。
训练机今天下午开放式机箱到了,把一套东西装上去了,感觉还不错,看着还是可以的,幸亏买了大版。然后今天把ssh和samba也搞好了。现在可以通过IP地址连上ubuntu文件系统和终端。现在可以通过本机的vscode直接进行文件管理和运行命令。这样的话就避免了用todesk连接训练机造成的CPU性能损失。就有一点本机的vscode不能关了。以前用todesk看得训练的话就会变成300多s,如果不运行的话时间大概是270s多。好耶!
tar将许多文件一起保存至一个单独的磁带或磁盘归档,并能从归档中单独还原所需文件。推荐Linux命令在线工具:linux命令在线查询工具
补充说明tar命令 可以为linux的文件和目录创建档案。利用tar,可以为某一特定文件创建档案(备份文件),也可以在档案中改变文件,或者向档案中加入新的文件。tar最初被用来在磁带上创建档案,现在,用户可以在任何设备上创建档案。利用tar命令,可以把一大堆的文件和目录全部打包成一个文件,这对于备份文件或将几个文件组合成为一个文件以便于网络传输是非常有用的。
首先要弄清两个概念:打包和压缩。打包是指将一大堆文件或目录变成一个总的文件;压缩则是将一个大的文件通过一些压缩算法变成一个小文件。
为什么要区分这两个概念呢?这源于Linux中很多压缩程序只能针对一个文件进行压缩,这样当你想要压缩一大堆文件时,你得先将这一大堆文件先打成一个包(tar命令),然后再用压缩程序进行压缩(gzip bzip2命令)。
语法1tar [选项...] [FILE]...
选项123456789101112131415161718192021222324252627282 ...
验证昨天验证的有问题,ET没有数据。然后在网上看到一篇文章,说是nnunet在预处理的时候会把分割的标签改成0-3,但是数据集原始的标签序号不是0-3,所以就会出现问题。于是就跟AI友好交流写了个代码查看标签的原始信息。
12345678910111213import nibabel as nibimport numpy as npdef check_labels(input_path): img = nib.load(input_path) data = img.get_fdata() unique_labels = np.unique(data) return unique_labels# 使用范例input_file = r"D:\深度学习\结果\√0.9046PretrainedSTUNetTrainer_base__nnUNetPlans__3d_fullres\infer\remapped\BraTS19_CBICA_AAM_1.nii.gz"labels = check_labels(input_file)print(f ...
训练本来是想显卡装在i5-10400电脑上,但是看了下机箱太小了。装不下显卡。于是就想找一个大点的机箱,把主板换里面。结果机箱还是太小了。于是没法子只能把三个机箱都恢复,然后把10400主板拆出来,直接拿出来用。装了个ubuntu,环境配好了。试了下确实速度有提升,现在正常情况下已经有260s左右的速度了。虽然跟auto-dl上170s左右有差别,但是已经可以了。再想提升就只能换cpu了。
验证今天把之前几个完成验证的训练都拿上去验证了一下,发现有两个训练没训练完。于是把两个训练都完成了之后,再进行验证。
验证出的还算快的。效果感觉还可以,没想到自己改的EAB还真有效,比nnUNet还强。PretrainedSTUNetTrainer_base__nnUNetPlans__3d_fullres
Label
Dice_ET
Dice_WT
Dice_TC
Sensitivity_ET
Sensitivity_WT
Sensitivity_TC
Specificity_ET
Specificity_WT
Specificity_TC
Hausdorff95_ET
Hausdor ...
设备2080Ti已就位一开始装在i7-8700的电脑上。跑了下TimeSpy,大概是这个情况:
看得出来,CPU拖后腿了。主要是8700跑TS的CPU测试应该在7000-8000左右,这个电脑太奇葩了,CPU风扇小不说,上面还盖着个超级大的电源。热量很难散出。导致CPU的性能释放很成问题。感觉显卡在这个大闷罐里性能也受影响。PS:当时在做这个的时候,还在吐槽这个破机箱。但是我没想到,更难受的机箱还在后面。
看起来稳定性测试还算可以,但是也不是太好。可能跟闷罐机箱有关系。有机会之后再测试吧。
但是训练速度很慢。差不多在350s左右,CUDA一直跑不满。最后研究了一下感觉还是CPU瓶颈。
CUDA永远跑不满,感觉是显卡在等CPU完成处理。
训练CAUNet正在训练一开始0折显示dice全0,跑了一会就好了。等跑完再看看。
验证https://ipp.cbica.upenn.edu/ 的数据集请求通过了现在正在验证已经完成训练的验证集,看看效果如何。
开始大规模训练现在已经完成的
原始nnUNet
原始nnUNet + EAB模块
原始STUNet Base
原始STUNet Small
正在训练的
原始nnUNet + ChannelAttention
Z8的RTX3060 6G Laptop正在训练,大概530s一个Epoch。(06-22 12:00)温度有点高。PS:买的2080Ti 22G到了,周一装上去,应该就爽了。
原始STUNet Base + TotalSegmentator预训练模型
公司RTX3090Ti正在训练,目前训练到(F3,50E)大概300s一个Epoch。(06-22 12:00)
1nnUNetv2_train 43 3d_fullres -tr STUNetTrainer_base -pretrained_weights "D:\wzh\base_ep4k_v2.pth" 0 --npz; nnUNetv2_train 43 3d_fullres -tr STUNetTrainer_base 4 --npz; nnUNetv2_train 43 3d_fullre ...
1. 8个国内pip镜像源以下是中国常见的pip镜像源,按照完全度和下载速度排序,需要注意的是,镜像源的完全度和速度可能因地域和时间而异,建议根据自己的实际情况选择合适的镜像源。
1.1 清华大学(完全度和速度都很好,是一个优秀的pip镜像源)https://pypi.tuna.tsinghua.edu.cn/simple1.2 阿里云(完全度和速度也很好,是一个不错的选择)https://mirrors.aliyun.com/pypi/simple/1.3 网易(速度比较快,但是完全度有限)https://mirrors.163.com/pypi/simple/1.4 豆瓣(速度较快,但是完全度也有限)https://pypi.douban.com/simple/1.5 百度云(速度较快,但是完全度也有限)https://mirror.baidu.com/pypi/simple/1.6 中科大(速度较快,但完全度不如前面几个镜像源)https://pypi.mirrors.ustc.edu.cn/simple/1.7 华为云(完全度和速度均中等)https://mirrors.hua ...
一、研究背景及意义1.1 研究背景 在当今医疗领域,有效地利用大数据和数据分析技术已成为推动诊断和治疗进步的关键,尤其在脑胶质瘤等复杂疾病的研究中,如何从海量的医疗数据中提取出有价值的信息,已经成为提高诊断精确度和治疗效果的重要挑战。患者的个人信息、详细病历、医学图像数据,以及越来越丰富的基因组数据,都是医生和研究者进行疾病分析和决策时不可或缺的资源。在医疗信息领域,数据分析与挖掘的价值也开始得到了越来越多的认可。数据分析与挖掘在医疗信息领域的应用,特别是在高度个性化和变异性大的脑胶质瘤治疗研究中,能够显著提升医生的诊断效率和治疗策略的精确度,通过这些技术,研究者可以识别出疾病发展的模式、预测治疗的反应,并优化个性化治疗方案,从而提升治疗效果和患者的生活质量。这不仅对提高医疗服务的质量有着重要的意义,也对推动医疗信息领域的发展具有深远的影响。[1]
近年来,随着医疗条件的不断改善以及医院信息化程度的不断提高,医学影像数据呈现暴发式增长。据《人工智能医疗器械产业发展白皮书(2023年)》统计,目前我国医疗数据的年增长率约为30%。中国 ...
昨天把STUNet的预训练数据集搞好了,今天就把STUNet重新跑一下,然后用预训练数据集再跑一遍。
训练命令:nnUNetv2_train 43 3d_fullres -tr STUNetTrainer_base 0 –npz
在CSDN上看到一个付费教程,感觉要不买了改nnUNet算了。
* 动机由于跑完的验证集没有GT,所以只能在https://ipp.cbica.upenn.edu/ 等他们给我验证,但是得先请求数据集使用,然后再验证验证集。等吧。现在就想先把他们搞好的TotalSegmentator的预训练数据集进行转换,在基于nnUNetv2的STUnet上使用。
查看模型内容
首先先写一个脚本看看到底他们有什么不同:经过与AI的斗智斗勇,写出了这个能用的版本
12345678910111213141516171819202122232425262728293031import torch# 加载 PyTorch 保存的数据集文件dataset = torch.load(r"D:\nnUNetWeb\STUNet\Pre-trained Models\checkpoint_best_modified_2.pth")# 创建一个txt文件用于保存输出信息with open("checkpoint_best_modified_2.txt", "w") as file: # 遍历数据集字典的每个键值 ...