HLS in LPCLOUD paging is broken
Posted: Wed Oct 02, 2024 7:24 am America/New_York
I have opened an issue https://github.com/nasa/cmr-stac/issues/353 related to this. We use cmr-stac in production and this being now broken is causing major issues. I am posting here hoping to get some traction on resolving it.
A query to cmr-stac:
{"limit": 100, "datetime": "2022-10-01T00:00:00Z/2023-09-30T23:59:59Z", "collections": ["HLSS30.v2.0", "HLSL30.v2.0"], "intersects": {"type": "Polygon", "coordinates": [[[-108.60833333333336, 33.35833333339331], [-108.5416666666667, 33.35833333339331], [-105.55, 35.550000000059974], [-105.50833333333337, 35.583333333393306], [-103.99166666666669, 36.91666666672664], [-103.99166666666669, 44.50000000005997], [-108.4, 47.9833333333933], [-108.425, 48.00000000005996], [-109.35, 48.325000000059966], [-111.13333333333337, 48.950000000059966], [-111.18333333333337, 48.96666666672663], [-111.55833333333337, 49.00000000005996], [-124.55, 49.00000000005996], [-124.65, 48.81666666672663], [-123.81666666666669, 41.74166666672664], [-123.7666666666667, 41.56666666672663], [-123.6, 41.09166666672664], [-123.28333333333336, 40.3833333333933], [-123.15, 40.09166666672664], [-123.1416666666667, 40.07500000005997], [-123.0, 39.833333333393306], [-122.8916666666667, 39.675000000059974], [-122.8416666666667, 39.608333333393304], [-117.075, 34.20000000005997], [-108.60833333333336, 33.35833333339331]]]}}
returns 100 items out of 69853 matched. There are 699 pages to be requested. Requesting pages 2 - 699 always returns page 1 from the initial request.
For completeness here is a query for page 2 which will return the same results as the query above:
{"limit": 100, "datetime": "2022-10-01T00:00:00Z/2023-09-30T23:59:59Z", "collections": ["HLSS30.v2.0", "HLSL30.v2.0"], "intersects": {"type": "Polygon", "coordinates": [[[-108.60833333333336, 33.35833333339331], [-108.5416666666667, 33.35833333339331], [-105.55, 35.550000000059974], [-105.50833333333337, 35.583333333393306], [-103.99166666666669, 36.91666666672664], [-103.99166666666669, 44.50000000005997], [-108.4, 47.9833333333933], [-108.425, 48.00000000005996], [-109.35, 48.325000000059966], [-111.13333333333337, 48.950000000059966], [-111.18333333333337, 48.96666666672663], [-111.55833333333337, 49.00000000005996], [-124.55, 49.00000000005996], [-124.65, 48.81666666672663], [-123.81666666666669, 41.74166666672664], [-123.7666666666667, 41.56666666672663], [-123.6, 41.09166666672664], [-123.28333333333336, 40.3833333333933], [-123.15, 40.09166666672664], [-123.1416666666667, 40.07500000005997], [-123.0, 39.833333333393306], [-122.8916666666667, 39.675000000059974], [-122.8416666666667, 39.608333333393304], [-117.075, 34.20000000005997], [-108.60833333333336, 33.35833333339331]]]}, "page": 2}
A query to cmr-stac:
{"limit": 100, "datetime": "2022-10-01T00:00:00Z/2023-09-30T23:59:59Z", "collections": ["HLSS30.v2.0", "HLSL30.v2.0"], "intersects": {"type": "Polygon", "coordinates": [[[-108.60833333333336, 33.35833333339331], [-108.5416666666667, 33.35833333339331], [-105.55, 35.550000000059974], [-105.50833333333337, 35.583333333393306], [-103.99166666666669, 36.91666666672664], [-103.99166666666669, 44.50000000005997], [-108.4, 47.9833333333933], [-108.425, 48.00000000005996], [-109.35, 48.325000000059966], [-111.13333333333337, 48.950000000059966], [-111.18333333333337, 48.96666666672663], [-111.55833333333337, 49.00000000005996], [-124.55, 49.00000000005996], [-124.65, 48.81666666672663], [-123.81666666666669, 41.74166666672664], [-123.7666666666667, 41.56666666672663], [-123.6, 41.09166666672664], [-123.28333333333336, 40.3833333333933], [-123.15, 40.09166666672664], [-123.1416666666667, 40.07500000005997], [-123.0, 39.833333333393306], [-122.8916666666667, 39.675000000059974], [-122.8416666666667, 39.608333333393304], [-117.075, 34.20000000005997], [-108.60833333333336, 33.35833333339331]]]}}
returns 100 items out of 69853 matched. There are 699 pages to be requested. Requesting pages 2 - 699 always returns page 1 from the initial request.
For completeness here is a query for page 2 which will return the same results as the query above:
{"limit": 100, "datetime": "2022-10-01T00:00:00Z/2023-09-30T23:59:59Z", "collections": ["HLSS30.v2.0", "HLSL30.v2.0"], "intersects": {"type": "Polygon", "coordinates": [[[-108.60833333333336, 33.35833333339331], [-108.5416666666667, 33.35833333339331], [-105.55, 35.550000000059974], [-105.50833333333337, 35.583333333393306], [-103.99166666666669, 36.91666666672664], [-103.99166666666669, 44.50000000005997], [-108.4, 47.9833333333933], [-108.425, 48.00000000005996], [-109.35, 48.325000000059966], [-111.13333333333337, 48.950000000059966], [-111.18333333333337, 48.96666666672663], [-111.55833333333337, 49.00000000005996], [-124.55, 49.00000000005996], [-124.65, 48.81666666672663], [-123.81666666666669, 41.74166666672664], [-123.7666666666667, 41.56666666672663], [-123.6, 41.09166666672664], [-123.28333333333336, 40.3833333333933], [-123.15, 40.09166666672664], [-123.1416666666667, 40.07500000005997], [-123.0, 39.833333333393306], [-122.8916666666667, 39.675000000059974], [-122.8416666666667, 39.608333333393304], [-117.075, 34.20000000005997], [-108.60833333333336, 33.35833333339331]]]}, "page": 2}