SceneGraphNet用于3D室内场景增强的神经信息传递

　　抽象在SceneGraphNet用于3D室内场景增强的神经信息传递中，我们提出了一种神经消息传递方法，以通过匹配周围环境的新对象来增强输入的3D室内场景。给定一个输入，可能不完整的3D场景和一个查询位置，我们的方法将预测一个非常适合该位置的对象类型的概率分布。通过以密集图传递学习到的消息来预测我们的分布，密集图的节点表示输入场景中的对象，边缘表示空间和结构关系。通过注意力机制对消息进行加权，我们的方法将学习重点放在最相关的周围场景上下文上，以预测新的场景对象。我们发现，根据SUNCG数据集中的实验，在正确预测场景中丢失的对象方面，我们的方法明显优于最新方法。

　　数字。在卧室场景的SceneGraphNet中用于神经消息传递的图形结构示例。
 

　　要求
 

　　1、Python 3
 

　　2、Python套件： pip install -r requirements.txt
 

　　torchfold(尝试更换torchfold.py由该如有错误)
 

　　数据集
 

　　SUNCG数据集 在该项目中用于培训和测试。[不幸地倒下了：(]
 

　　我们解析了原始的房间结构，并在此处创建了相应的场景图数据集。图形节点和边的定义通常如SceneGraphNet用于3D室内场景增强的神经信息传递所述。详细的数据结构进行了说明这里。
 

　　下载我们的数据集或根据我们的数据结构创建自己的数据集，并在以下位置更改数据集目录 utils/default_settings.py
 

　　训练
 

　　我们在4种类型各异的房间(卧室，浴室，办公室，客厅)中训练/测试我们的方法。卧室类别预测的示例火车命令是
 

　　python main.py --name YOUR_TRAIN_JOB_NAME --train_cat --room_type bedroom --num_train_rooms 5000 --num_test_rooms 500
 

　　卧室类别预测的评估命令示例为
 

　　python main.py --test --load_model_name YOUR_TRAIN_JOB_NAME --name YOUR_TEST_JOB_NAME --train_cat --room_type bedroom --num_train_rooms 5000 --num_test_rooms 500
 

　　可以通过添加其他参数解析器来调整某些变体和超参数。有关main.py详细信息，请参见中的帮助。
 

　　引文
 

　　如果您使用此代码进行研究，请引用我们的论文：

　　@inproceedings{zhou2019scenegraphnet,

　　title={SceneGraphNet: Neural Message Passing for 3D Indoor Scene Augmentation},

　　author={Zhou, Yang and While, Zachary and Kalogerakis, Evangelos},

　　booktitle={IEEE Conference on Computer Vision (ICCV)},

　　year={2019},

　　}
 

　　致谢
 

　　该项目与Wayfair Next Research团队(现为Wayfair计算机视觉团队和Applied Tech团队)部分合作。我们要感谢丽贝卡·佩里(Rebecca Perry)和蒂姆·张(Tim Zhang)在整个项目过程中提供的专家建议和鼓励。
 

　　这项研究由NSF(CHS-161733)资助。我们的实验是在马萨诸塞州技术合作组织管理的合作基金下获得的UMass GPU集群中进行的。