在AG-Grid中，可以通过自定义排序函数来实现在服务器端行模型中启用自定义排序。下面是一个示例代码，演示了如何实现自定义排序：

// 创建自定义排序函数
function customSortComparator(valueA, valueB, nodeA, nodeB, isInverted) {
  // 根据自定义逻辑定义排序规则
  if (valueA < valueB) {
    return -1;
  } else if (valueA > valueB) {
    return 1;
  } else {
    return 0;
  }
}

// 在列定义中使用自定义排序函数
var columnDefs = [
  { 
    headerName: "Column 1", 
    field: "col1", 
    sort: 'custom', // 启用自定义排序
    comparator: customSortComparator // 指定自定义排序函数
  },
  // 其他列定义...
];

// 创建AG-Grid实例
new agGrid.Grid(gridDiv, gridOptions);

// 在服务器端行模型中加载数据
gridOptions.api.setServerSideDatasource({
  getRows: function (params) {
    // 发送请求获取服务器端数据
    // ...

    // 将获取到的数据传递给AG-Grid
    params.successCallback(data, totalRowCount);
  }
});

在上面的代码中，首先定义了一个自定义排序函数customSortComparator，用于根据自定义逻辑对两个值进行比较。然后，在列定义中指定sort: 'custom'来启用自定义排序，并通过comparator属性指定自定义排序函数。

最后，使用setServerSideDatasource方法将数据加载到服务器端行模型中，并在getRows回调函数中将服务器端返回的数据传递给AG-Grid。AG-Grid会根据列定义中的排序配置和自定义排序函数对数据进行排序。

注意：在实际使用中，需要根据自己的需求修改自定义排序函数的实现逻辑。