在 AMS v3 中，可以使用以下代码示例来检查和设置视频图层是否可选：

// 获取预设的配置
const presetConfig = await amsClient.getEncodingPreset(presetId);

// 检查视频图层是否可选
const videoLayerOptional = presetConfig.options.videoLayerOptional;

// 设置视频图层为可选
presetConfig.options.videoLayerOptional = true;

// 更新预设的配置
await amsClient.updateEncodingPreset(presetId, presetConfig);

在这个示例中，首先通过 amsClient.getEncodingPreset(presetId) 方法获取预设的配置。然后，可以检查 presetConfig.options.videoLayerOptional 的值，如果为 true，则表示视频图层是可选的。

如果需要将视频图层设置为可选，只需将 presetConfig.options.videoLayerOptional 设置为 true。最后，使用 amsClient.updateEncodingPreset(presetId, presetConfig) 方法更新预设的配置。

请注意，上述代码示例仅用于演示目的，实际使用时可能需要根据你的具体情况进行适当的调整。