url_parse: introduce our own url parsing

Provide our own url parser, so that we can handle Google Code's "fun"
URLs that have a userinfo with an `@` in it. :cry:

1 files changed, 217 insertions, 0 deletions

diff --git a/tests/util/url/parse.c b/tests/util/url/parse.c
index 5b6116e28..29b76c63b 100644
--- a/tests/util/url/parse.c
+++ b/tests/util/url/parse.c
@@ -24,6 +24,8 @@ void test_url_parse__hostname_trivial(void)
 	cl_assert_equal_s(conndata.path, "/resource");
 	cl_assert_equal_p(conndata.username, NULL);
 	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_p(conndata.fragment, NULL);
 	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 1);
 }
 
@@ -36,6 +38,8 @@ void test_url_parse__hostname_root(void)
 	cl_assert_equal_s(conndata.path, "/");
 	cl_assert_equal_p(conndata.username, NULL);
 	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_p(conndata.fragment, NULL);
 	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 1);
 }
 
@@ -48,6 +52,22 @@ void test_url_parse__hostname_implied_root(void)
 	cl_assert_equal_s(conndata.path, "/");
 	cl_assert_equal_p(conndata.username, NULL);
 	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_p(conndata.fragment, NULL);
+	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 1);
+}
+
+void test_url_parse__hostname_numeric(void)
+{
+	cl_git_pass(git_net_url_parse(&conndata, "http://8888888/"));
+	cl_assert_equal_s(conndata.scheme, "http");
+	cl_assert_equal_s(conndata.host, "8888888");
+	cl_assert_equal_s(conndata.port, "80");
+	cl_assert_equal_s(conndata.path, "/");
+	cl_assert_equal_p(conndata.username, NULL);
+	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_p(conndata.fragment, NULL);
 	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 1);
 }
 
@@ -60,6 +80,8 @@ void test_url_parse__hostname_implied_root_custom_port(void)
 	cl_assert_equal_s(conndata.path, "/");
 	cl_assert_equal_p(conndata.username, NULL);
 	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_p(conndata.fragment, NULL);
 	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
 }
 
@@ -72,6 +94,8 @@ void test_url_parse__hostname_implied_root_empty_port(void)
 	cl_assert_equal_s(conndata.path, "/");
 	cl_assert_equal_p(conndata.username, NULL);
 	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_p(conndata.fragment, NULL);
 	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 1);
 }
 
@@ -85,6 +109,8 @@ void test_url_parse__hostname_encoded_password(void)
 	cl_assert_equal_s(conndata.path, "/");
 	cl_assert_equal_s(conndata.username, "user");
 	cl_assert_equal_s(conndata.password, "pass/is@bad");
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_p(conndata.fragment, NULL);
 	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
 }
 
@@ -98,6 +124,8 @@ void test_url_parse__hostname_user(void)
 	cl_assert_equal_s(conndata.path, "/resource");
 	cl_assert_equal_s(conndata.username, "user");
 	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_p(conndata.fragment, NULL);
 	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 1);
 }
 
@@ -112,6 +140,8 @@ void test_url_parse__hostname_user_pass(void)
 	cl_assert_equal_s(conndata.path, "/resource");
 	cl_assert_equal_s(conndata.username, "user");
 	cl_assert_equal_s(conndata.password, "pass");
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_p(conndata.fragment, NULL);
 	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 1);
 }
 
@@ -126,6 +156,8 @@ void test_url_parse__hostname_port(void)
 	cl_assert_equal_s(conndata.path, "/resource");
 	cl_assert_equal_p(conndata.username, NULL);
 	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_p(conndata.fragment, NULL);
 	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
 }
 
@@ -138,6 +170,8 @@ void test_url_parse__hostname_empty_port(void)
 	cl_assert_equal_s(conndata.path, "/resource");
 	cl_assert_equal_p(conndata.username, NULL);
 	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_p(conndata.fragment, NULL);
 	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 1);
 }
 
@@ -152,6 +186,8 @@ void test_url_parse__hostname_user_port(void)
 	cl_assert_equal_s(conndata.path, "/resource");
 	cl_assert_equal_s(conndata.username, "user");
 	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_p(conndata.fragment, NULL);
 	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
 }
 
@@ -166,6 +202,72 @@ void test_url_parse__hostname_user_pass_port(void)
 	cl_assert_equal_s(conndata.path, "/resource");
 	cl_assert_equal_s(conndata.username, "user");
 	cl_assert_equal_s(conndata.password, "pass");
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_p(conndata.fragment, NULL);
+	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
+}
+
+void test_url_parse__hostname_user_pass_port_query(void)
+{
+	/* user:pass@hostname.tld:port/resource */
+	cl_git_pass(git_net_url_parse(&conndata,
+				"https://user:pass@example.com:9191/resource?query=q&foo=bar&z=asdf"));
+	cl_assert_equal_s(conndata.scheme, "https");
+	cl_assert_equal_s(conndata.host, "example.com");
+	cl_assert_equal_s(conndata.port, "9191");
+	cl_assert_equal_s(conndata.path, "/resource");
+	cl_assert_equal_s(conndata.username, "user");
+	cl_assert_equal_s(conndata.password, "pass");
+	cl_assert_equal_s(conndata.query, "query=q&foo=bar&z=asdf");
+	cl_assert_equal_p(conndata.fragment, NULL);
+	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
+}
+
+void test_url_parse__hostname_user_pass_port_fragment(void)
+{
+	/* user:pass@hostname.tld:port/resource */
+	cl_git_pass(git_net_url_parse(&conndata,
+				"https://user:pass@example.com:9191/resource#fragment"));
+	cl_assert_equal_s(conndata.scheme, "https");
+	cl_assert_equal_s(conndata.host, "example.com");
+	cl_assert_equal_s(conndata.port, "9191");
+	cl_assert_equal_s(conndata.path, "/resource");
+	cl_assert_equal_s(conndata.username, "user");
+	cl_assert_equal_s(conndata.password, "pass");
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_s(conndata.fragment, "fragment");
+	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
+}
+
+void test_url_parse__hostname_user_pass_port_query_fragment(void)
+{
+	/* user:pass@hostname.tld:port/resource */
+	cl_git_pass(git_net_url_parse(&conndata,
+				"https://user:pass@example.com:9191/resource?query=q&foo=bar&z=asdf#fragment"));
+	cl_assert_equal_s(conndata.scheme, "https");
+	cl_assert_equal_s(conndata.host, "example.com");
+	cl_assert_equal_s(conndata.port, "9191");
+	cl_assert_equal_s(conndata.path, "/resource");
+	cl_assert_equal_s(conndata.username, "user");
+	cl_assert_equal_s(conndata.password, "pass");
+	cl_assert_equal_s(conndata.query, "query=q&foo=bar&z=asdf");
+	cl_assert_equal_s(conndata.fragment, "fragment");
+	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
+}
+
+void test_url_parse__fragment_with_question_mark(void)
+{
+	/* user:pass@hostname.tld:port/resource */
+	cl_git_pass(git_net_url_parse(&conndata,
+				"https://user:pass@example.com:9191/resource#fragment_with?question_mark"));
+	cl_assert_equal_s(conndata.scheme, "https");
+	cl_assert_equal_s(conndata.host, "example.com");
+	cl_assert_equal_s(conndata.port, "9191");
+	cl_assert_equal_s(conndata.path, "/resource");
+	cl_assert_equal_s(conndata.username, "user");
+	cl_assert_equal_s(conndata.password, "pass");
+	cl_assert_equal_p(conndata.query, NULL);
+	cl_assert_equal_s(conndata.fragment, "fragment_with?question_mark");
 	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
 }
 
@@ -526,6 +628,7 @@ void test_url_parse__ipv6_invalid_addresses(void)
 		"https://user@[fe80::dcad:beff:fe00:0001:9191/resource"));
 	cl_git_fail_with(GIT_EINVALIDSPEC, git_net_url_parse(&conndata,
 		"https://user:pass@[fe80::dcad:beff:fe00:0001:9191/resource"));
+
 	/* Both brackets missing */
 	cl_git_fail_with(GIT_EINVALIDSPEC, git_net_url_parse(&conndata,
 		"http://fe80::dcad:beff:fe00:0001/resource"));
@@ -554,6 +657,120 @@ void test_url_parse__ipv6_invalid_addresses(void)
 
 	/* Invalid character inside address */
 	cl_git_fail_with(GIT_EINVALIDSPEC, git_net_url_parse(&conndata, "http://[fe8o::dcad:beff:fe00:0001]/resource"));
+
+	/* Characters before/after braces */
+	cl_git_fail_with(GIT_EINVALIDSPEC, git_net_url_parse(&conndata,
+		"http://fe80::[dcad:beff:fe00:0001]/resource"));
+	cl_git_fail_with(GIT_EINVALIDSPEC, git_net_url_parse(&conndata,
+		"http://cafe[fe80::dcad:beff:fe00:0001]/resource"));
+	cl_git_fail_with(GIT_EINVALIDSPEC, git_net_url_parse(&conndata,
+		"http://[fe80::dcad:beff:fe00:0001]cafe/resource"));
+}
+
+/* Oddities */
+
+void test_url_parse__invalid_scheme_is_relative(void)
+{
+	cl_git_pass(git_net_url_parse(&conndata, "foo!bar://host:42/path/to/project?query_string=yes"));
+	cl_assert_equal_p(conndata.scheme, NULL);
+	cl_assert_equal_p(conndata.host, NULL);
+	cl_assert_equal_p(conndata.port, NULL);
+	cl_assert_equal_s(conndata.path, "foo!bar://host:42/path/to/project");
+	cl_assert_equal_p(conndata.username, NULL);
+	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_s(conndata.query, "query_string=yes");
+	cl_assert_equal_p(conndata.fragment, NULL);
+	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
+}
+
+void test_url_parse__scheme_case_is_normalized(void)
+{
+	cl_git_pass(git_net_url_parse(&conndata, "GIT+SSH://host:42/path/to/project"));
+	cl_assert_equal_s(conndata.scheme, "git+ssh");
+}
+
+void test_url_parse__nonhierarchical_scheme(void)
+{
+	cl_git_pass(git_net_url_parse(&conndata, "mailto:foobar@example.com"));
+	cl_assert_equal_s(conndata.scheme, "mailto");
+	cl_assert_equal_p(conndata.host, NULL);
+	cl_assert_equal_p(conndata.port, NULL);
+	cl_assert_equal_s(conndata.path, "foobar@example.com");
+	cl_assert_equal_p(conndata.username, NULL);
+	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
+}
+
+void test_url_parse__no_scheme_relative_path(void)
+{
+	cl_git_pass(git_net_url_parse(&conndata, "path"));
+	cl_assert_equal_p(conndata.scheme, NULL);
+	cl_assert_equal_p(conndata.host, NULL);
+	cl_assert_equal_p(conndata.port, NULL);
+	cl_assert_equal_s(conndata.path, "path");
+	cl_assert_equal_p(conndata.username, NULL);
+	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
+}
+
+void test_url_parse__no_scheme_absolute_path(void)
+{
+	cl_git_pass(git_net_url_parse(&conndata, "/path"));
+	cl_assert_equal_p(conndata.scheme, NULL);
+	cl_assert_equal_p(conndata.host, NULL);
+	cl_assert_equal_p(conndata.port, NULL);
+	cl_assert_equal_s(conndata.path, "/path");
+	cl_assert_equal_p(conndata.username, NULL);
+	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
+}
+
+void test_url_parse__empty_path(void)
+{
+	cl_git_pass(git_net_url_parse(&conndata, "mailto:"));
+	cl_assert_equal_s(conndata.scheme, "mailto");
+	cl_assert_equal_p(conndata.host, NULL);
+	cl_assert_equal_p(conndata.port, NULL);
+	cl_assert_equal_s(conndata.path, NULL);
+	cl_assert_equal_p(conndata.username, NULL);
+	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
+}
+
+void test_url_parse__empty_path_with_empty_authority(void)
+{
+	cl_git_pass(git_net_url_parse(&conndata, "http://"));
+	cl_assert_equal_s(conndata.scheme, "http");
+	cl_assert_equal_p(conndata.host, NULL);
+	cl_assert_equal_s(conndata.port, "80");
+	cl_assert_equal_s(conndata.path, "/");
+	cl_assert_equal_p(conndata.username, NULL);
+	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 1);
+}
+
+void test_url_parse__ssh_from_terrible_google_rfc_violating_products(void)
+{
+	cl_git_pass(git_net_url_parse(&conndata, "ssh://my.email.address@gmail.com@source.developers.google.com:2022/p/my-project/r/my-repository"));
+	cl_assert_equal_s(conndata.scheme, "ssh");
+	cl_assert_equal_s(conndata.host, "source.developers.google.com");
+	cl_assert_equal_s(conndata.port, "2022");
+	cl_assert_equal_s(conndata.path, "/p/my-project/r/my-repository");
+	cl_assert_equal_s(conndata.username, "my.email.address@gmail.com");
+	cl_assert_equal_p(conndata.password, NULL);
+	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
+}
+
+void test_url_parse__ssh_with_password_from_terrible_google_rfc_violating_products(void)
+{
+	cl_git_pass(git_net_url_parse(&conndata, "ssh://my.email.address@gmail.com:seekret@source.developers.google.com:2022/p/my-project/r/my-repository"));
+	cl_assert_equal_s(conndata.scheme, "ssh");
+	cl_assert_equal_s(conndata.host, "source.developers.google.com");
+	cl_assert_equal_s(conndata.port, "2022");
+	cl_assert_equal_s(conndata.path, "/p/my-project/r/my-repository");
+	cl_assert_equal_s(conndata.username, "my.email.address@gmail.com");
+	cl_assert_equal_s(conndata.password, "seekret");
+	cl_assert_equal_i(git_net_url_is_default_port(&conndata), 0);
 }
 
 void test_url_parse__spaces_in_the_name(void)