基于社会生态学行为实验的实验平台系统
理论：
最近，人们越来越关注使用行为实验来研究社会生态实验治理的假设。使用各种软件工具来实现这样的实验。在本文中，我们评估了可用于社会生态系统治理研究和教育的各种公开平台。各种平台的目标是截然不同的，这在用户友好性和对新颖研究问题的适应性方面存在显着差异。更易于访问的平台对于原型分类实验和教育目的有用，可用于说明理论概念。为了推进新颖的研究目标，需要更精细的编程经验来从头开始实验或调整现有的实验软件。没有最适合所有可能用例的理想平台，但我们提供了一系列选项及其相关的权衡。
介绍
对可持续性的追求充满了关于共享资源使用的社会困境。 当个人激励与集体利益发生冲突时，就会出现社会困境。 这对于共享资源尤其明显，例如森林，鱼类，清洁和淡水以及肥沃的土地。 Garrett Hardin（1968）认为资源使用者无法管理他们自己的资源，如果没有建立国家控制或共享资源的私有化，公共场所的悲剧是不可避免的。 相反，埃莉诺·奥斯特罗姆和她的同事表明，这种悲剧是可以避免的（Ostrom 1990，Dietz et al.2003），收集了许多由当地社区成功管理的共同资源的实证例子，这些资源创造了创新的制度安排。
对公共池资源治理研究成功的一个重要贡献是称为机构分析和发展框架的理论框架，旨在帮助理解制度设计的经验案例的复杂性（Ostrom 2005）。 最近这项工作的延伸是社会生态系统框架中社会和生态背景变量的重点（Ostrom，2009）。 社会生态系统治理的研究不能通过一种方法论方法来进行，而是需要使用不同的方法进行调查，例如案例研究分析，形式建模和行为实验（Poteete等人，2010）。 本文侧重于实验方法，但考虑到其他方法得出的结果。
实验室和实地的行为实验越来越多地用于检验理论和案例研究中出现的假设（Ostrom等，1994，Poteete等，2010）。已经对不同国家的大学生群体以及包括印度农村的农民或哥伦比亚海岸的渔民在内的各种其他人群进行了实验（Anderies等，2011，Waring和Bell，2013）。这些实验表明，如果参与者不能沟通而不能使用代价高昂的惩罚，公共资源的过度收获就会发生 - 正如理论所预测的那样。与理论相反，并且根据案例研究，实验表明，沟通和昂贵的惩罚减少了公共资源的过度收获（Poteete et al.2010）。没有能力执行承诺的交流，称为廉价谈话，预计不会对理性的自私行动者产生影响，但会导致团队合作的显着增加（Balliet 2010）。预计不会使用以自己为代价减少他人收入的选择（即代价高昂的惩罚）。然而，发现廉价谈话和代价高昂的惩罚都具有显着效果，并在案例研究分析中证实了观察结果（Ostrom等，1992）。
利用研究社会生态系统治理的早期公共产品和公共资源实验的局限性是缺乏相关的生态复杂性。 学者们已经开始探索更具体和相关的生态复杂性在社会生态系统社会困境研究中的后果（Janssen等，2010，McAllister等，2011，Prediger等，2011，García-Gallego等。 2012年，Kimbrough和Wilson 2013，Cardenas等，2013，Anderies等，2013）。 对社会生态实验的科学兴趣增加的结果是实验软件的并行扩散以实现它们。 实验软件平台具有不同的目标，代码库，功能和用户社区。 软件平台的这种多样性很有价值，但也为研究人员创造了困难的选择，并为标准化和互操作性带来了挑战。
本文的目的之一是解决同事和学生关于如何开始进行社会生态行为实验的常见问题。除了理解设计和运行实验的方法之外（Friedman和Sunder，1994，Roth和Kagel，1995，Camerer，2003），了解可用的软件工具类型非常重要和适当的。与大多数软件应用程序一样，软件实验通常是针对一组特定的研究问题开发的，并且需要进行假设，并且需要高级编程经验进行重大调整但是，大多数框架都提供了扩展点，使实验者能够通过配置参数甚至自定义编程逻辑来修改实验的功能。一些实验也可以通过NetLogo，Excel或Google Documents等现成工具实现。在本文中，我们将回顾可用于进行行为社会生态实验的各种软件工具和平台，着眼于澄清选项。我们根据目标，设计，能力和用途评估这些平台。
社会生态系统治理的实验方法
在本节中，我们讨论的标准试验一些常见的变化。 这将提供对可能的实验范围和某些平台选择的理由的观点。 所有相关实验都旨在测试特定的假设。 为此，我们必须定义不同的处理方法。 例如，为了测试通信的效果，我们需要允许和不允许通信的许多组。 需要执行足够的组，使得非参数测试可用于测试由于治疗效果引起的差异的显着性。
实验通常是设计简单且范围狭窄，以便专注于特定的研究问题并排除复杂现实世界的噪音。 实验结果本身并不能证明干预的效果，并且是大量实验结果和其他研究结果的一部分，这些研究累积地提高了洞察力（Poteete et al.2010）。
在标准的线性公益实验中，一组N个参与者每轮都获得一个捐赠（w）。 在每一轮中，参与者独立决定投资公共基金的捐赠金额（X）以及投资私募基金的金额。 公共基金的总投资乘以（m）并在参与者之间平均分配。 参与者在特定轮次中的收益是私募基金的剩余部分（wX）加上公共基金的均匀份额（m / N）*总和X.一个自私的理性行为者不会在公共基金中投入任何资金，而且收益 将等于初始捐赠。 相反，如果每个参与者将他们的整个禀赋投入到公共物品中，则会获得社会最优解决方案，从而将收益增加m。
公共池资源实验与公益实验类似，不同之处在于决定要从公共池资源中提取多少资金，而不是投资私募基金。 一个自私的理性角色会尽可能地收获，并期望其他人也这样做。 社会最优资源消耗是较低的消费，其提供诸如资源寿命或每单位努力的更大收获之类的社会益处。 在公共产品和公共池资源情景中，N个参与者每轮并行进行数字投资或收获决策。
我们使用制度分析和发展框架（Ostrom 2005）来讨论我们可以在实验中探索的所谓行动情境的哪些变化（图1）。参与者可以填补允许某些行动的职位。个人可以控制导致结果的行为，并获得有关行动，结果及其联系以及成本和收益的信息。我们可以改变谁参与（例如，学生，农民），在哪种环境（基于计算机，纸和笔，移动应用程序）和“文化”（农村/城市人口，狩猎采集者，小规模大米）尼泊尔的农民）。在实验中，我们可以改变生产函数（净成本和收益），这可能反映了不同类型的生态（个体的行为如何影响其他参与者的收益）。生态环境还可以影响参与者所具有的位置（例如，在网络中连接或通过不对称交互），何时可以做出决策，以及谁拥有关于他人的行为和收益的信息。变化可以是无穷无尽的，但是在案例研究和捕捉人们互动的理论框架中的观察指导下。
图1.社会生态系统的实验模型是现实世界情景的简化，旨在关注最感兴趣的人类行为动态。 该图是对图1.2的机构分析和发展框架以及Ostrom（2005）的图2.1的改编。
现代计算机软件和编程语言现在使实验者能够创建具有高度特定社会角色和不同环境资源条件的复杂，交互式，多参与者实验。计算机系统扩展了可测试的生态和社会条件的范围，以及可以从这些实验中收集的数据的深度（即，聊天数据，实时注意力跟踪）。然而，该实验研究中的方法学挑战并非主要源于对更大复杂性的需求。相反，社会生态实验的最大限制因素是（a）难以在易处理的行为实验中捕捉社会生态系统的复杂性，以及（b）创建强大且可重复使用的实验软件的挑战。
足够灵活，允许增量和迭代修改，直到实验设计最好地解决手头的研究问题。此外，社会生态实验和模拟越来越多地用于各种领域和模式（即教育，实验室，在线），其中存在实践上的差异。
在本文中，我们将重点放在实验室实验上，并且不会深入讨论现场和自然实验的挑战和机遇（Harrison和List 2004，Anderies et al.2011）。 以下平台的讨论针对的是有兴趣探索其研究和教学方案的学者。 一个好的开始方法是在课堂上尝试现有的实验作为集体行动的教育经验。
实验领域
社会生态实验被用于越来越多的领域，包括实验室，现场，课堂和在线。当前的工具允许以各种组合设计实验，改变参与者（数量，类型），生产函数（净成本和收益），环境细节（资源分配，时间，类型），实验框架，规则，位置（网络）位置，不对称公共，群体结构，差异能力）和信息条件（通信，信息显示，资源可见性）。然而，不同的使用领域具有不同的目标并且需要特定的后勤约束，影响为它们创建的实验和实验平台的设计。例如，现场实验通常被定制以适应现实世界的场景（具有资源细节，社会角色和规则，以及与特定用户组和资源匹配的信息条件），而实验室实验通常被设计为模拟风格化的社会生态系统以获得最大的普遍性。 （Janssen等人，2010年）。我们提供这些使用域的原型描述，以帮助阐明它们对方法选择的影响。
现场实验
社会生态田间试验通常用于研究特定社会生态系统中的行为，例如多种姓村的合作灌溉（Waring and Bell 2013），森林利用（Cardenas 2000），自流渔业（Castillo et al。 2011）和畜牧业（Prediger等，2011）。 实地试验往往侧重于确定当地人对当地环境的行为反应，并且通常不打算直接推广到所有人类群体。 因此，田间试验经常试图以程式化的方式模仿当地的社会和生态环境。
实验室实验
在大学实验室进行的社会生态实验通常不关注特定的背景因素，但往往力求提出基本的科学问题，并寻求可在社会和生态环境中推广的结果。 实验室实验也不受特定背景因素或物流问题的限制，并且可能实质上更复杂（Janssen等人，2010，Kimbrough和Wilson，2013）。 与现场实验相比，实验室实验通常用于研究更多的理论研究问题，例如“整合是否会影响可变环境中的资源保护？”（McElreath等人，2005）。
开源在线实验
行为实验也是在跨越大空间和时间的开放网络上进行的（Rand 2012，Horton等，2011，Rand和Nowak，2011）。 这种类型的开放式在线实验部分地解决了传统实验室实验经常试图从不具代表性的学生群体中得出关于人类行为的一般结论的批评（Henrich等人，2010）。 社会生态系统研究的开放式在线实验有望增加实验结果的参与度，文化和种族多样性，但同时也存在与身份和行为验证和验证相关的重大挑战。
教育实验
社会生态模拟越来越多地用于教育，其形式和功能与研究实验显着重叠。 然而，研究实验往往需要额外的社会科学措施，如调查和后续问卷调查，并严格控制，以保持匿名等条件，以确保高数据质量。 相比之下，在教育背景下，实验游戏可以单独使用，但可以通过课程计划，主题阐述和小组汇报来完成。 实验的使用已经表明可以增加对经济学教材的理解（Cartwright和Stepanova，2012），因此可以作为教授社会生态治理的教学工具进行探索。系统。
平台说明
在本节中，我们描述了可用于执行与社会生态系统相关的行为实验的公开可用软件平台。 结果汇总在汇总表中（表1）。
纸和铅笔
最简单的实验方法是“纸和笔”选项。 它的简单性使纸和笔成为软件或技术选项不合适的自然选择。 甚至可以仅用纸和笔进行精细的实验（例如，Cardenas等人，2013）。 由于纸质和铅笔实验的逻辑简单性，物理可靠性和快速实施，它们通常用于现场实验。 通过清晰的表格和协议，训练有素的实验人员可以进行非常成功的实验。 在每轮实验中，实验者从参与者收集数据，执行相关计算并向参与者提供反馈。
虽然纸和铅笔实验的实施可能很麻烦，但它有许多重要的好处，而技术密集型解决方案尚未与之匹配。 首先，纸和铅笔实验很容易进行原型，测试和修改。 它们需要对设备或软件开发进行有效的零投资，因此纸和铅笔实验可以快速迭代其设计并快速转移到数据收集。 然而，纸和铅笔实验存在两个主要缺点。 首先，它们在任何给定实验的可达到的环境和社会复杂性方面受到限制。 其次，虽然实验者的计算可以通过电子表格更有效地完成，但必须手动处理数据和表格，这会引入错误的可能性。 因此，可以通过纸和铅笔实验来管理有限的复杂性。
Z-Tree
苏黎世现成经济实验工具箱或Z-Tree（http://www.iew.uzh.ch/ztree）已成为实验经济学家的标准工具（Fischbacher，2007）。 Z-Tree是一个客户端 - 服务器Windows应用程序，附带许多标准经济学实验（http://www.iew.uzh.ch/ztree/treatments.php），包括社会困境和拍卖市场。它还提供了一个编程环境，通过向导驱动的界面可以快速开发符合其数据和交互模型的新实验（http://www.iew.uzh.ch/ztree/ztree21tutorial.pdf）。该软件允许人们创建和参数化实验治疗，支持自定义编程逻辑和常见参数，如主题数量，组，组大小，轮数和显示费用。尽管最新版本提供了图形功能，但该软件并非旨在提供引人入胜的可视化和交互，并且通常依赖于参与者根据文本反馈做出文本输入决策。与许多此类软件解决方案一样，Z-Tree使用基于圆形的实验结构来组织交互。该软件是封闭源代码，免费提供，必须安装在运行Microsoft Windows且具有共享网络驱动器的计算机或虚拟机上。
GameWeb
GameWeb（由加州大学戴维斯分校的Richard McElreath开发）（http://gameweb.sourceforge.net）是一个开源的，基于网络的平台，用PHP，MySQL和JavaScript实现，用于基于圆形的多人行为实验（McElreath等。2005，McElreath等人，2008）。 GameWeb旨在克服z-Tree的一些局限性。它为参与者和实验者提供单独的网络控制台，可与光标跟踪软件（http://mouselabweb.org）集成，提供毫秒光标跟踪数据，揭示参与者注意力和信息访问的变化（即参与者有哪些信息）查看，以及多长时间）。标准语言的使用也使得GameWeb引擎的修改成为可能。 GameWeb可以部署在任何带有Web浏览器的计算机设备上并且已经被使用在没有电力或互联网连接的地区（Waring and Bell 2013）和实验室环境中的手持设备（McElreath等人，2008年）。没有现成的实验设计菜单可供选择，因此GameWeb中的实验必须由研究团队通过扩展GameWeb框架来实现。
CSID实验框架
CSID实验框架是一个开源的客户端 - 服务器框架，用Java实现，由机构多样性研究中心（CSID）开发（https://bitbucket.org/virtualcommons/csidex）。 它通过XML或属性文件，数据持久性，网络和用于组实验的图形为实验配置提供支持。 在CSID框架上建立了两种类型的实验，即觅食游戏和灌溉游戏。
觅食游戏在21世纪初开始发展，以研究空间觅食策略（Goldstone和Ashpole 2004）以及其他参与者觅食模式的实时变化的影响（Goldstone等，2005）。 它演变为研究参与者群体如何在不同条件下与可再生资源相互作用（Janssen等人，2008年，2010年），并作为开源免费提供（http://commons.asu.edu/software/foraging）。 生成的数据文件可以导出为CSV进行数据分析并转换为QuickTime电影，以便实验者可以重放实验。
这个软件和像z-Tree这样的软件包之间的关键区别在于做出决策的方式。参与者可以通过四分钟的时间来实时决定在空间明确的可再生资源中移动以及何时收集资源，而不是参与者在每轮中通过前几轮信息做出独立决策的离散轮次（参见图2）。参与者通常会每秒点击几次来操纵他们的头像并收集资源。需要一个软件平台，用于实现与图形和网络同步功能的实时连续交互，以支持这种动态交互，因为实验的游戏状态必须每秒多次更新并有效地传输给组中的每个成员。安装软件需要在实验者和客户端计算机上安装Java。使用Java Web Start从Web浏览器安装和运行实验客户端。
图2.觅食游戏是一个空间实时框架，允许更实际的资源使用交互。 （a）全球观点，（b）地方观点。
灌溉游戏（https://bitbucket.org/virtualcommons/irrigation）使用与上述觅食游戏相同的核心引擎开发，但游戏动态解决灌溉系统中的协调和信息不对称问题（Anderies等人，2013）。 游戏本身由多轮组成，参与者可以做出基础设施投资决策，可以选择通过文本聊天进行交流，并在特定时间内进行实时决策（控制灌溉大门）。 实验环境还包括可配置参数，这些参数会对供水和基础设施造成冲击，并可能限制参与者可以看到的相互信息。
图2.灌溉游戏模拟了一个有五个用户的线性灌溉渠道。
VCweb
Virtual Commons Web Environment（http://vcweb.asu.edu）是一个基于Web的开源框架，用Python，Django和Bootstrap实现，用于开发和运行集体动作实验。无需安装专用软件除了诸如Chrome，Safari或Firefox之类的现代网络浏览器之外，可以在受控设置（例如，计算机实验室）中执行实验，其中实验中的轮次之间的转换由实验辅助器管理或者在单独的在线设置中进行。参与者通过桌面或智能手机浏览器访问实验。它提供实时功能，包括组或个人之间的文本聊天，实验配置和参数化，以及实验辅导员同步推进所有参与者从一轮到下一轮的能力。该软件源于希望调查集体行动理论中的规模问题并与大量参与者进行实验（Janssen等人，2013）。创建新实验需要Python和Web开发经验。
MobLab
MobLab是一家开发专有互动经济学游戏的初创公司，可以使用兼容HTML5的网络浏览器或在Android和iOS移动设备上在教室中运行 （http://www.moblab.com/）。 他们目前提供22个来自实验经济学的标准游戏，包括公益，囚徒困境和讨价还价游戏。 实验者可以调整实验的基本参数（支付，参与者数量），并在离散轮次中进行决策。 虽然这个实验环境还没有包含更全面的生态动态游戏，但它是一个可行的工具课堂。
ConG
ConG（http://leeps.ucsc.edu/cong）是用Java实现的实验经济学连续时间游戏的专业实验环境（Pettit等人，2012）。 与GameWeb一样，实验配置使用CSV文件实现，并为多种标准经济学提供实时交互和可视化实验包括囚徒困境，鹰鸽和自愿捐款机制公益游戏。 现有的可视化与实时图类似，并以处理语言（http://processing.org）实现。 他们提供描述实验的PDF文档，但没有游戏教学屏幕来解释变量或交互模型。 可以使用定制的支付功能和可视化来扩展环境。
VeconLab
VeconLab（http://veconlab.econ.virginia.edu/admin.htm）提供了44个离散的基于网络的经济实验，并以PHP实现。 教师或研究人员可以在他们的网站上注册帐户并进行实验。 样本实验从一组指令开始，一个测试用于理解的测验，然后是一些类似于z-Tree或MobLab的重复离散轮数字决策。 可视界面主要是文本，具有屏幕指令，输入验证以及实验及其目标的上下文描述。 软件的定制需要联系作者，因为软件似乎是封闭源，并且不记录任何已知的扩展点。
NetLogo:HubNet
NetLogo（http://ccl.northwestern.edu/netlogo）是一个用于开发基于代理的模型的软件平台。 NetLogo的HubNet参与式仿真系统将内置的本地网络功能与通常用于教育和研究的基于代理的仿真引擎相结合。 HubNet允许共享复杂的空间模拟，并允许用户实时操作它们。由于NetLogo基础，参与式模拟可以包括比这里提到的其他实验系统更复杂，更动态和空间的环境（参见，例如，Frey和Goldstone 2013）。 HubNet使用NetLogo内置的用户界面功能（滑块，按钮，空间显示，图表和图表）来传达丰富但受限制的参与者体验。 HubNet使用NetLogo的简化语言代理编程语言。 HubNet有很好的文档记录，可以相对快速地开发实验。虽然NetLogo的HubNet架构能够进行实时参与式仿真，但与纯Java相比，它具有性能和编程约束框架。
协作文件
目前可用于协作文档编辑的在线平台可用于简单实验游戏的原型设计。在这些类型的平台中，文件存储在文件托管服务中，并由用户通过连接到Internet的Web浏览器访问。使用一个或多个互连的文档文件构建实验。Google云端硬盘（http://drive.google.com/）是一个在线文件托管和同步服务示例，允许多个用户实时访问和编辑文档。游戏设计可以实现为在线可编辑文档，并且可以在具有因特网访问的计算机上的实验参与者处使用。在此类平台中构建的实验注册了实时更新功能，允许玩家通过编辑单个文档来做出决策。通过文档链接的机制，这些决策被报告给实验者并用于计算收入，并且根据游戏设计，产生系统的新状态。我们不知道使用这种执行实验的方法发表的实验。
比较平台
我们根据可用性和性能的一些基本标准评估了所有基于计算机的平台，并将这些与我们在铅笔和纸张实验方面的丰富经验进行了比较。 表1包含基于各种平台的可用文档和专业知识的结果。 作为一个集团，我们在这里展示的平台拥有多样化但不完整的专业知识，因此我们可能无法完全代表所有平台的可能性。 我们的大多数专业知识都与CSID框架，VCweb，z-Tree，GameWeb和协作文档相关。 然而，我们的比较揭示了一些区分实验平台的关键特征，并且往往与不同的使用领域相关联。
也许最重要的考虑因素是，是否需要现成的实验进行快速部署（如在教育环境中），或者需要设计定制实验的系统（通常在研究中需要）。 如果需要定制实验，建议选择开源框架，因为框架的源代码是免费提供的，可以随意定制。 封闭源平台可以提供可以放置自定义逻辑的扩展点，但这些扩展点取决于平台作者。
另一个重要的考虑因素是平台是否需要在运行实验的每台计算机上安装自定义软件，或者是否可以通过标准Web浏览器访问实验。 基于Web的实验提供了许多优于传统客户端服务器软件的优势 - 它们始终是最新的，可以支持更大的组大小，无需定制软件安装，并且易于设计为对网络连接和其他中断的稳健性。 并发问题。 现在，随着支持HTML5的Web浏览器（如Mozilla Firefox，Google Chrome或Apple Safari）的出现，实时用户交互成为可能，尽管该技术仍在不断涌现。
MobLab，Veconlab和z-Tree在他们的库中有许多标准的经济学实验。但是，只有z-Tree在实验设计中提供了可扩展性，因为MobLab和Veconlab都是封闭源。
如果有编程专业知识，开源研究平台如ConG，CSID实验框架，GameWeb和VCweb提供了最大的扩展潜力。 此外，我们认为用于生成已发表实验结果的软件应归档并保存为研究过程中的重要工件，因为它对实验结果的可重复性至关重要。 所有软件都有可能出错，并且无法检查闭源实验软件是否存在可能会或可能不会在生成的数据中出现的潜在错误。
为了在任何平台上创建新的实验设计，需要编程专业知识来实现额外的实验逻辑和期望的行为。 表1列出了所需的编程专业知识类型。 像z-Tree，Google Docs和NetLogo这样的平台很好，有活跃的社区提供知识渊博的支持，非程序员更容易访问，但在可能的实验设计范围内也更受限制，例如实时交互和图形可视化。
总而言之，没有理想的平台是免费的，用户友好的，并且可以毫不费力地开发新的实验来研究详细，复杂的社会生态系统的治理。 相反，我们确定了四类实验平台。
原始模式
纸和铅笔游戏，协作文档和Netlogo HubNet等工具是开发原型实验的绝佳方法。如果实验设计很简单，那些工具也可用于实际实验。无需专业编程经验即可快速开发特定软件。缺点是缺乏实验定制，这意味着运行实验可能是临时使用手动计算和干预。
教育游戏
两个平台，Moblab和Veconlab，是在教室中使用实验的极好资源。它们已被用于许多类中，并且已被证明是健壮的。然而，由于在这些平台中提供的游戏是标准游戏，并且没有创建新游戏的能力，因此这些平台在用于需要新颖游戏设计的研究中是无用的。
可访问的平台
诸如z-Tree，ConG，GameWeb和VCWeb之类的研究平台可用于开发不同类型的专用圆形实验。它们在所需的专业知识和使用它们的实验类型上有所不同。 Z-Tree是同类产品中的第一个平台，在实验经济学中很常见，ConG专注于连续（而不是离散）决策的实验，GameWeb主要用于文化学习实验，VCWeb用于实验通过实验室外的移动设备。如果您了解正确的编程语言，所有平台都可用于开发新实验。
专业平台
觅食游戏和灌溉实验是针对特定类型的社会生态系统的专业平台。尽管使用这些平台执行的现有实验集的许多变体都是可能的，但是任何希望使用它的人都必须具备一些技术专业知识来安装，配置和部署实验，且Java编程中的高级专业知识开发新的变体。讨论
上述平台上的讨论提供了可用工具的（不完整）概述。 我们专注于实验平台，可用于研究社会影响系统的治理，并且很容易获得。 一些学者为自己的研究开发了相关平台，但尚未普遍提供（Hey et al.2009，Kimbrough and Wilson 2013）。
实验经济学平台（Veconlab，Moblab，ConG）在实验设计中包含生态复杂性的选择有限。事实上，原型制作工具是开发具有生态复杂性的实验的出色起点。尽管受到轮回安排的限制，人们甚至可以实施具有生态动态的纸质和铅笔游戏（Cardenas等人，2013）。类似的实验可以在协作文档中实现，其可以具有更平滑的运行过程的优点，而无需手动计算实验的进度。 Netlogo / Hubnet非常适合用于复杂动态环境的实验。可以使用基于代理的模型和其他动态系统，其中参与者可以通过计算环境中的一个代理来影响决策。使用Hubnet / Netlogo的主要缺点是对参与者如何看待信息的控制有限。
原型工具是开始探索可能性的好方法，但它们缺乏平稳的进展，并且对通信期间参与者看到的信息的控制有限，并且通常需要手动调整。 可以使用质量更好的软件，但这也需要大量的编程经验并且通常需要大量的时间投入。 实验软件很复杂，因为它必须在实验数据的并发访问中保持数据完整性，对崩溃和异构网络条件具有鲁棒性，并且能够处理运行多个参数化处理的所有特殊情况需求。 此外，在现有框架之上实施新颖实验通常需要对原始设计中没有的框架进行更改，并且需要深入的知识才能正确实施。
为涉及社会生态系统（包括社会生态网络）的空间和时间动态的更高级实验开发强大平台将需要高级编程专业知识来实施。 我们希望这种实验平台的开源开发的当前趋势将使这种软件平台更有可能继续提供价值并由社区扩展和维护。