在大星座中使用地面中继进行低延迟广域路由
引用：
Handley M. Using ground relays for low-latency wide-area routing in megaconstellations[C]//Proceedings of the 18th ACM Workshop on Hot Topics in Networks. 2019: 125-132.
知识点：
- Corning Incorporated. SMF-28TM optical fiber product information, 2002. 地面铺设光纤的折射率是1.468
本文总述：
在很多关于低轨的讨论中，都直接默认星间链路ISLs的存在而忽略中继，因为这样能带来更低的时延。但实际上现在的ISLs激光技术并不成熟，容量也不够高，因此在初期部署阶段Starlink不会部署星间链路，而是采用地面中继的方案进行增量部署。这样的话初期是否会影响LEO相较于地面网络的优越性？以及全面部署结束后，地面中继是否就失去作用了呢？本文根据不同部署阶段的特点进行了 讨论。在讨论的过程中，由于中继的数量的庞大以及卫星地球的动态对路由方案进行了一点优化。
验证内容：
- 在早期部署阶段，对全覆盖区域，较少的中继点和更多的中继点相比，时延及时延稳定性并没有降低太多，阐述了分阶段部署中继的可行性
- 过多的中继会造成路由切换频繁，多组实验找到了中继的最合理的密度
- 对北美跨大西洋和太平洋地中继的部署及跨洋传输进行了工程性的部署说明及与实际网络对比，发现可以使用少量的海洋中继就能低时延跨洋传播
- 与最优路径的计算相比，认为每个地站选取卫星连接并构建路由图是更耗时间的，因此设计了层次更新的路由图方案
- 使用一二级导数准确预测了路由切换的ms级时间并准确发动路由更新，而不是通过路由传递进行更新
- 对ISLs部署后的网络进行了评估，发现网络连接有传输南北方向存在锯齿状传输，因此使用地面中继能降低传输时延，提升稳定性
以上是我对本文的概括，如果有感兴趣的地方，可以参考下面本人的全文翻译+个人理解，总体而言感觉本文的创新点在发现了一个新颖的角度，然后对中继的可行性进行了分析，关于中继的相关的分析都是一些比较顺理成章的东西，除此之外的路由上分级可能还略有创新型。除此之外并没有很多吸人眼球的东西
摘要：
LEO提供高容量低延时网络接入，但缺乏专用ISL（星间链路）。我们研究了使用地面中继作为ISLs的替代品来提供低延迟广域网。我们研究如何在这样大型的网络路由，还有可能使用用户终端为中继，然后设计了一种增强的路由算法来配合。我们发现即使没有ISL，这样的网络在时延上也能超过地面光纤。
1 概述
一些公司计划部署LEO星座来提供高带宽低延时的网络服务。SpaceX和OneWeb已经发射了第一批卫星，其中SpaceX在他们的Stalink网络的第一轨道平面发射了60个卫星。它们使用相控阵天线，可以允许同一颗卫星与多个地站通信，但它们缺乏基于激光的星间链路（ISLs），这让一些人怀疑这第一批卫星是否能在提供低延时广域通信中起到任何作用
激光通信在计划在第二代卫星中使用，目前最先进的自由空间激光链路支持比Starlink的射频链路容量更低的数据速率，很有可能造成ISLs仍旧成为瓶颈。ISLs的一种替代品是星间中继用地站。本文就研究了在Starlink中使用地面中继的可能性，包括三个场景：
- 初期和中期部署中，没有ISLs
- 完整的第一阶段（1584颗卫星），没有ISLs
- 完整的第一阶段，使用ISLs和地面中继
我们会调查什么性能是可能的：特别的，稠密网络中使用用户终端作为中继；跨洋路径中很少有中继的状况。我们也提出了路由算法的增强版来让这样的网络更灵活
2 Starlink和地面中继
在FCC公开文件中，SpaceX的原始计划的第一步包括1600颗卫星，这些卫星分布于32个轨道平面，每个平面包含50颗空间卫星，轨道倾角53°，轨道高度1100km。在之前的工作中，我们评估了这个星座在低延迟广域通信能力方面的适用性。在之前的工作（Delay is not an option: Low latency routing in space）中，我们评估了这个星座在低延迟广域通信能力方面的适用性。以网格ISLs连接卫星，长距离通信对这个原始设计是很适配的，只要通信双方距离超过1000km，就能获得超过地面光纤的低时延。
2018年11月SpaceX修订了FCC方案，高度降为550km，轨道32个变为24个，每个轨道的卫星数50个变为66个。总数量接近一致，倾角也未改变
修改后的版本均匀性降低。同轨道的卫星间距将比异轨间距小很多。部署第一阶段不再使用ISLs：因为这个技术还在发展初期
在修订版中，卫星可连接角度从40°下降至25°，与角度增加相对应，卫星必须能够从垂直方向引导点波束到达地面站。这样高倾角增加了卫星可覆盖的半径，但以较低的信号强度和由于来自其他类似方向的卫星的潜在干扰而导致的频率空间复用减少为代价。不过，一个关键的好处是，低轨道结合高倾角恢复了一些低延迟属性，而这个属性以前需要激光ISLs做到。图1是550km轨道卫星的覆盖示意图，要求地站至少高于地面25°角才能连接。在这样的限制下，相距1880km的地站可以通过一个卫星通信，通信距离2246km，光速延迟是7.5ms，而通过在地表直线铺设折射率为1.468的光纤，延时为9.2ms。虽然这是一种极限情况，但只要在适当的位置始终有地面中继站，即使没有ISLs，它也可以实现低延迟的远程通信。那这种尝试的是否可行？在早期部署阶段是否就能实现低延时，还是说它需要高密度卫星才可以？为了回答这个问题，我们仿真了SpaceX的Starlink星座。
2.1 部分部署性能
如果目标是连续覆盖最大的地面面积，部分部署将使卫星分散在多个轨道平面上，每一轨道的卫星数量将减少。
图2是SpaceX的24个轨道，每个轨道11颗卫星共264颗卫星的场景。这个星座在能持续覆盖美国大陆，但大多数区域在同一时间只能看到一颗卫星，使得那里的地站无法作为中继进行转发
图3是6个轨道，每个轨道66颗卫星的情况。在50°N和50°S各有一个连续的环带。在北美，环带覆盖了美国纽约的北部和加拿大的大部分。欧洲的大部分也被覆盖了
SpaceX规范的每个卫星轨道66颗卫星到达了一个最佳位置，卫星覆盖区域的直径与轨道上下一颗卫星的覆盖区域的直径重叠了2/3。如图4所示，这就意味着大多数被覆盖地区在 同一时间可以看到 至少两个卫星
我们仿真了初期部署的场景的长距离传输的时延，此时没有ISLs，并探究了中继的影响。仿真场景包括：6轨道每个轨道66颗卫星，这是能提供连续覆盖的最小轨道数；12轨道数，能为60°以下的美国大陆、日本和欧洲提供服务；全部24轨道，能提供60°以下全球的覆盖。
为了决定最优中继放置位置，我们设计了一个网格的可能中继位置，并使用Djkstar算法来决定使用任意中继的最短路径。网格间隔1°，从75°W-122°W、30°N到55°N，覆盖了US和南加拿大的大部分，大约是95km的网格里。图5是从纽约到西雅图的路径。随着地球自转，最优中继始终在变化，黄色的是在四小时的仿真中被用到过的最优中继。在此之后路由大部分都重复
图6A展示的是在这些城市之间使用接近最优的中继的时候RTT的变化情况。作为对比，地面使用测地距离铺设的光纤的RTT是38ms，实际上当前实际的地面RTT是76ms。实际上这里有两个重叠的循环。长时标周期是由地球在轨道平面下旋转引起的。6平面的周期大约4小时，而12平面和24平面的周期更小。短的时间尺度周期是由卫星从上空通过造成的。66颗卫星5739s内完成一个轨道，因此这个间隔是87s。RTT的大幅变化是因为路径选择由一个平面切换到另一个平面。
使用图5中的最优选点作为热图并加入其他的中继来保证连接，我们在US和加拿大中配置了10个中继，每个都放置在中心人口城市。图6B显示只用这10个中继的效果。时延仍然比现在网络RTT小，但使用接近最少数量的中继没有影响时延和时延的变化。这是一个很惊人的发现，尤其是在早期6个平面部署的时候，一些中继相对于轨道面很远的情况。随着其他地面站增设，时延会逐渐从6B降为6A
缩放到初始30s中，我们可以在6C和6D中看到一个短期的表现。87s是同一轨道内卫星经过上空到被后继者替代的过程。双峰的时延是因为在一些时间两个中继就够了，而有些时候需要三个。随着星座更密集，在所有时间两个中继都是可行的。
2.2 中继密度vs路由稳定性
多中继在路由计算中可能由两个潜在的问题：
- 多中继引起网络图中连接数的增多，从路由的角度，从地面站到任何在其范围内的卫星之间都存在着链路，这大大会降低路由计算速度
- 多中继引起最低时延的路由切换频繁。图7展示了同样图6C和D场景中24平面，增加了最短路径路由更改的时间点。如果路由切换耗费较大，频繁计算将会是一个问题
路由需要处理多少地面站？如果这是Starlink预分配的，数量将会很少，可能超过十个。但SpaceX已向FCC提交申请，希望获得覆盖美国100万个用户终端的频谱许可证，这些终端将会使用软件调控的相控阵天线进行控制连接，且能同时连接多个卫星——至于具体多少个主要是处理能力的问题，包括为每个天线单元生成信号或者这同时接收多个信号。用户终端的能力因为价格问题能力会低于地站，但将低活跃的终端用作中继也是可以的。这些终端将运行SpaceX的软件，所有流量都是逐边加密的，因此通过它们进行中继的风险似乎是可控的。
为测试中继的密度的影响，我们仍然像图5一样设置网格的中继，只是网格的大小从0.5°（48km）到2.5°（238km）。图8是从纽约到新西兰的RTT以及平均最短路径更改时间。多中继路径变化会更频繁。但1°超过一个中继有平均95km的间隔，延迟带来的优势很小但路由变化持续增多。图中也显示了RTT的波动，这是由于卫星之间的固定间距与更紧密的地面站间距之间的混叠造成的，这是模拟中使用的过于规则的网格造成的假象。
这里如果能增加一个更科学的说法就好了，比如将时延和路由变化以B=aD+bC组合起来，然后寻找最优的B值就能更科学地描述这个最优点，而不是像这一段这样用直观上地语言描述
2.3 跨洋路由
陆地传播依赖于许多地站，但海洋传播不同使用ISLs一个关键优势是广域跨大洲之间短延迟。没有ISLs，依旧可以提供短时延的跨洋通信吗？一种可能是使用货船或飞机作为中继。可是，如果只有一点中继Starlink的能力将会如何呢？
图9是从纽约到伦敦的北大西洋的路由。加拿大东部和爱尔兰的中继提供了一部分跨洋路由，但在53°N，24°W和51°N，41°W需要两个中继货船来填补空隙。即使6个轨道面，这些中继对提供连续的跨大西洋传输就足够了。而随着更多轨道增加，时延会下降。24轨道则会始终比地面光纤最低时延还要低。在6轨道的时候时延也是55-70ms，优于现在实际网络的75ms。有ISLs的时延43ms，相较于没有ISLs需要靠地站的48ms更优。
跨太平洋的地站中继路由也是可能的。图10为芝加哥-东京路线。东京不在6轨道全覆盖区域，但12轨道以上则可以。阿留申群岛正好在东西道路正确的纬度作为中继，沿着加拿大、阿拉斯加海岸和日本北部增加中继几乎完成了路径。在俄罗斯远东的堪察加半岛南端，还需要进行一次中继。如果由于政治因素这个不可行，则需要一个船只完成。对这样的路线，24轨道的中继路线不总是优于最优光纤的，但它比当前最优的地面路径低50ms。很清晰的是ISLs计划取得了明显的胜利，但在那个技术成熟以前，中继方案也是可接受的。
3 路由性能
使用Dijkstra算法的二进制堆实现来计算最低时延路径。路由的图需要包含从每个卫星出来的边连接到范围内的中继点上。限制因素似乎不在Dijkstra算法。随着拓扑持续改变，大多数时间被用来重建路由图以及更新边时延。这耗费O(r*s)时间，r是中继数，s是卫星数。对一个固定的星座，相应的代价与r的数量线性相关。对于平均分布距离48km的US的5000个中继而言，建立路由图并运行Djikstra算法在2.7Ghz Intel Core i7 CPU及其中耗费1.55s，而这样的最短路径修改时间平均间隔是2.5s，因此这是一个问题。
我们使用一种分层次的更新方案来减少拓扑的更新耗费。我们将地面分成几块，由k°纬度×k°经度形成一块，每块包含那个区域的中继。为了更新卫星的下行链路，检查哪一块离开了卫星的覆盖区。所有在覆盖区的块中的中继点被加入可行中继列表。然后我们遍历结果列表，如果中继在范围内，则将每个中继作为图边缘添加到卫星。
用这种方法建立路由图比初始方案更低耗费，但依旧比在一个已有的表中仅更新边延迟要更高耗费。我们每次计算路由的时候不重构拓扑图，而是我们在卫星覆盖区域的边缘额外增加了m公里。当建立路由图的时候，我们增加在这个扩充地区的中继的边进入计算，而边的时延设为无穷大，因此Dijkstra算法目前不会使用这些边
而当重计算路由时，先前的图被保留下来，只有一些边的时延被更新，一些边时延变成无穷而不可用，一些边时延由无穷变得可用。尽管这意味着有更多边的时延需要更新，但这比需要重构图划算很多
在卫星运动偏离这个范围以前这个图都可以被重用。对一个100km的范围550km的卫星，这将耗费13.7s，然后路由图必须要重构。在我们的实现中，重构这个图的时间耗费时更新边时延时间的两倍。我们不需要同时重构所有卫星的路由图。如果路由计算每500ms运行一次，我们只需要重建少于4%的卫星，因此路由消耗基本由更新延迟和Dijkstra算法运行组成
这些优化减少了在一个1,584个卫星、5,000个中继网络中从一个源路由到所有目的地的时间，从初始实现的1.55秒减少到61 ms。基本是与规模线性相关的，每增加一个中继用12.5μs。有40000个终极的可以在500ms以下完成路由计算，这与整个地球地面每60km放一个中继相同。如图8所示，比这样更稠密的中继能取得的延时降低已经很少了。当然，用户终端会远比这个要稠密，这要求网络控制器选择适当间隔的空闲子集作为中继
更多的优化也是可能的，比如，路由计算只需要考虑接近最优位置的中继，以作为一对卫星之间的中继。我们发现这样的优化并非是必要的
3.1 不同的路由
图11表现了更新频率的影响，从图7可以看到95km内中继的更新大约20s。蓝色表示每300ms路由更新一次，红色表示每18ms更新一次。这种情况对路由交换的影响并不大，大约30μs，可在20Gb/s速度下会引起50个包的重排。
这样的重排是不必要的：我可以精确预测何时需要更改路线，就不再需要高频运行全部的路由算法。如果我们每500ms运行一次路由算法，但要在1s内在整个网络上运行它，这是可能做到的，因为轨道是可预测的。
链路时延是平滑曲线变化的，因为卫星会慢慢靠近中继然后原理，而路径的时延是链路时延的和，因此在路由改变之间也是一个平滑的方程。我们不需要知道确切的方程，但希望能ms级计算出什么时候需要改变路由。通过近似计算得到链路延迟的一二级导数
路径时延是Dijkstra算法计算得到的路径上每条链路的时延之和，其一二级导数也能推导出来，然后就能估算它的时延在短时间内如何改变。如果两次运行Dijkstra算法的时间间隔为500 ms，结果得到两条不同的路径，那么我们就可以使用导数来高精度地确定什么时候旧路径会变得比新路径更差，这会使路由变换几乎在最优时刻发生。如果任何外推的链路延迟超出了卫星范围，还必须注意在正确的时间从路由切换
我们发现这样的路由几乎是最优算法——如果在两次路线计算之间有第三条路线是可能的，那么这种近似就不适用了。该算法将确保没有可能导致重新排序的不必要的延迟步骤。
4 混合网络
使用ISLs总会取得更低的延迟。在后面的阶段，SpaceX会部署激光ISLs。到那个时候，地面站还会有用吗？答案是会。这个结果可能会令人惊讶。我们推断SpaceX每颗卫星使用4个激光链路。如果我们为东西连接低延迟进行最优化，会使得连接同轨道最近的两颗以及邻居轨道稍有偏移的两颗。这种方式在很多路径中能提供平稳的低时延，但在某些时候会导致次优结果，因为NE向的只会与NE向相连，SE向的只会与SE向的相连。
下面结果示意这种次优。在24轨道中寻找多伦多到迈阿密的路径，如图12所示，紫色表示ISLs，而黄色表示最短路径希望的ISL，橙色是一个从卫星到地面站的射频链路。迈阿密在多伦多几乎正南的方向，但这个方向没有得到很好的支持，因此沿着轨道平面的ISLs被使用。
图中展示了使用ISLs、地站以及二者都用的方法的RTT变化。使用ISLs路径的变化很大，ISLs永不会很好的支持南北路径，因此总是锯齿起伏。左上图是初始阶段，使用1个激光链路，但交替使用NE和SE对；随着地球自转，轨道不再对齐，就需要更长的路径，两三个激光链路。尽管使用中继的方法也在垂直方向呈锯齿状，水平方向它是直的。因此在这样的例子中，使用ISLs和地站结合是最好的。
图13展示了中继帮助ISLs的另一种类型，这是伦敦到约堡的路由快照，也几乎是从北到南。这里我们不能确保撒哈拉沙漠的地站覆盖，因此选择了一些人口多的城市作为地站位置，这些地点将被Starlink服务得很好。不像多伦多到迈阿密得路径，这个例子得最优路径始终是ISLs和中继混合的路径。
最后，即使ISLs总能给出最低的时延，它们有时容量也会不足。这时，多径路由需要分散负载。单ISL饱和的时候，使用中继比卫星上转移会好
相较于diss特定的ISLs拓扑设计，更为有说服力的方式是：所有拓扑设计受限于卫星的连接天线数必然会存在传输死角，比如上面的这种网格连接，目的是提供最优的东西方向连接，因此南北方向成为传输死角，此时在死角上设定中继，就能取得更好的传输。
结论
即使没有ISLs，如果在地面布设地站作为中继的话，像Starlink这样的LEO星座也能提供很好的广域网低延时服务，且延时会低于光纤。如果闲置的用户终端可以被用来作中继，这将提升中继密度并带来显著的延时削减。我们提出了最短路径路由的一种改进，允许ms级别精度的路径改变，且支持全球较密集覆盖的中继。而当ISLs被加上以后，中继的需求降低，但一些路径通过中继会得到提升，不仅能降低时延，还能提升容量。
6 后续
本文被接收后，SpaceX再次修改了FCC设置。在2019年10月，这个修改未被FCC通过，但它们提出第一阶段包含72轨道，每个轨道包含22颗卫星，与24平面、66卫星恰好相反。其他参数都没有改变。
根据这个最新的文件，这个星座改变将会在初期允许更好的US覆盖。图14展示了这个优势——部署72个轨道的18个就已经能足够覆盖US。相较于图3，同样的数量不同的覆盖能力。这个方案的缺点是覆盖重叠不太适合部署早期阶段的高倾角中继。
随着部署进程的推进，地面中继所需的覆盖重叠可以重新获取。通过使用更多的轨道，邻居轨道之间的距离被缩减了。图15展示了所有72个轨道平面，只展示了平面的第一颗卫星的覆盖。这些卫星一起向东北方向的轨道北端移动，然后向西南方向移动，依此类推，当它们远离赤道时，它们会离得更近，而当它们回到赤道时，它们又会离得更远。如图所示，在他们最大的距离那里，它们的覆盖重叠与每个平面66颗卫星相似。因此这个新的星座也很适合基于中继的方案，但它优先考虑早期的覆盖，而不是早期的低延迟长途服务