无法回应的ARP请求包导致的网站缓慢问题排错-创新互联

问题

访问一个网站，从本地访问很快，但是从客户端访问大概要等待3秒的样子。在服务器放上静态网页，在客户端访问则返回时间很快。

排错步骤

• 在客户端访问问题网站，在客户端用wireshark抓包

  1. 用tcp 三次握手及客户端请求与服务器返回的ACK来判断是否存在线路或者服务器忙问题，发现不是。348-349 显示出服务器响应很快。 349-498 之间用了3.28秒，说明这是服务器应用的问题。

  

• 让开发人员调查服务器端的应用，开发人员说之前有个小功能可以抓取客户端MAC地址，但是看到抓的包，应该不是用的客户端的代码，因为第一个web页响应就3秒多，要是客户端代码那也是后续的JS或者资源加载较慢。

• 不管三七二十一，在服务器端也抓了下包。过滤下arp 和http的包看看,过滤后发现有三个ARP请求，但是没有对应回应。另外仔细看ARP请求的具体内容也不对，服务器用ARP请求去解析客户端的MAC地址应该是不对的，原因是服务器和客户端不在一个网段，正常的跨网段的ARP请求是同一个网段才会用的，如果跨网段那应该去解析路由器的MAC地址。所以这些ARP请求有问题。

• 开发人员注释掉了客户端ARP地址查询的代码。访问速度瞬间提升了。
• 开发人员同时注意到客户端ARP地址查询的结果为00-00-00-00-00-00，和我们的服务器上的抓包结果一致，因为去请求一个跨网段IP地址的MAC，所以目标地址不会收到，因为ARP广播会在路由器端终止。

揭开真相

• 开发人员给了我服务器端的代码C#
  ``` c#
  [DllImport("Iphlpapi.dll")]
  private static extern int SendARP(Int32 dest, Int32 host, ref Int64 mac, ref Int32 length);
  [DllImport("Ws2_32.dll")]
  private static extern Int32 inet_addr(string ip);

  public string getClientMac(string userip)
  {
      if (string.IsNullOrEmpty(userip)) return null;
      //string userip = Request.UserHostAddress;
      string strClientIP = userip.ToString().Trim();
      Int32 ldest = inet_addr(strClientIP);
      Int32 lhost = inet_addr("");
      Int64 macinfo = new Int64();
      Int32 len = 6;
      int res = SendARP(ldest, 0, ref macinfo, ref len);
      string mac_src = macinfo.ToString("X");
      //if (mac_src == "0")
      //{
      //    ip = userip;
      //}
  
     while (mac_src.Length < 12)
      {
          mac_src = mac_src.Insert(0, "0");
      }
  
      string mac_dest = "";
  
      for (int i = 0; i < 11; i++)
      {
          if (0 == (i % 2))
          {
              if (i == 10)
              {
                  mac_dest = mac_dest.Insert(0, mac_src.Substring(i, 2));
              }
              else
              {
                  mac_dest = "-" + mac_dest.Insert(0, mac_src.Substring(i, 2));
              }
          }
      }
  
      return mac_dest;
  }

* 按照代码逻辑的话，服务器应该是用了一次SendARP 调用，但是为什么会有三个ARP请求产生，而且不同的ARP请求包之间的等待时间不一。所以为了验证这个SendARP的调用的实际操作，我用powershell 写了上面一个sendARP 调用，然后用wireshark抓包。
``` powershell
Function Send-Arp { 
param( 
    [string]$DstIpAddress, 
    [string]$SrcIpAddress = 0 
) 

$signature = @" 
[DllImport("iphlpapi.dll", ExactSpelling=true)] 
   public static extern int SendARP(  
       uint DestIP, uint SrcIP, byte[] pMacAddr, ref int PhyAddrLen); 
"@ 

    Add-Type -MemberDefinition $signature -Name Utils -Namespace Network 

    try { 
        $DstIp = [System.Net.IPAddress]::Parse($DstIpAddress) 
        $DstIp = [System.BitConverter]::ToInt32($DstIp.GetAddressBytes(), 0) 
    } catch { 
       write-Error "Could not convert $($DstIpAddress) to an IpAddress type.  Please verify your value is in the proper format and try again." 
        break 
    } 

    if ($SrcIpAddress -ne 0) { 
        try { 
            $SrcIp = [System.Net.IPAddress]::Parse($SrcIpAddress) 
            $SrcIp = [System.BitConverter]::ToInt32($SrcIp.GetAddressBytes(), 0) 
        } catch { 
           write-Error "Could not convert $($SrcIpAddress) to an IpAddress type.  Please verify your value is in the proper format and try again." 
            break 
        } 
    } else { 
        $SrcIp = $SrcIpAddress 
    } 

    $New = New-Object PSObject -Property @{ 
        IpAddress = $DstIpAddress 
        PhysicalAddress = '' 
        Description = '' 
        ArpSuccess = $true 
    } | Select-Object IpAddress,PhysicalAddress,ArpSuccess,Description 

    $MacAddress = New-Object Byte[] 6 
    $MacAddressLength = [uint32]$MacAddress.Length 

    $Ret = [Network.Utils]::SendARP($DstIp, $SrcIp, $MacAddress, [ref]$MacAddressLength) 

    if ($Ret -ne 0) { 
        $New.Description =  "An error was returned from SendArp() with error code:  $($Ret)" 
        $New.ArpSuccess = $false 
    } else { 
        $MacFinal = @() 
        foreach ($b in $MacAddress) { 
            $MacFinal += $b.ToString('X2') 
        } 

        $New.PhysicalAddress = ($MacFinal -join ':') 
    } 

   write-Output $New 
}

• 使用powershell 来解析一个跨网段的目标IP地址，然后紧接着ping目标主机，这样可以根据ping包的开始时间得出sendARP 的结束时间。
  powershell 命令如下：

  send-arp serverIP ;ping serverIP

• 抓包过滤ARP以及ICMP来验证，SendARP函数会发送三个ARP包，可能也会等待超时，因为没有ARP包回应，这个测试的时间大概也在3.1秒左右，符合问题现象。
  

最后总结：

1. 在服务器上本机访问非常快，是因为服务器使用ARP请求查本机，应该会很快有回应。如果其他客户端和服务器在同一个网段，估计也不会慢。

2. 客户端慢是因为服务器在返回给客户端http信息时，先用ARP请求跨网段的客户端IP，但是不会有ARP回应，因为路由的原因，客户端看不到服务器的ARP请求，而SendARP函数的超时时间大概为3.1秒，所以跨网段的客户端收到服务器的一个HTTP响应在3.28秒左右。同样单纯在客户端抓包只能分析出服务器应用有问题，但是说不出具体的问题。

3. 静态网页快是因为，静态网页不执行服务器端代码，所以不会执行ARP查询。

4. 另外开发人员也应该熟悉常见的网络协议，像这次的代码就会仅仅在特定场景下工作，如果网站是面向互联网的话，那这个代码将不会起到作用，反而影响性能

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。