私がメッセージをSQSキューを照会していますJavaクライアントアプリケーションを使用します。キューは、テストのためのセットアップとして12,000のメッセージを持っています。最新の(2.10.62をsoftware.amazon.awssdk)のpom.xmlがさらに下を示しているAWS-javaは-SDKで私はOpenJDKのを使用しています。
私は見ています問題は設定にもかかわらず、ということである(10)maxNumberOfMessagesを私は今までに3を取得し、私はそれが最大でないメッセージの数の保証が返されたメッセージの数にはWAVERがないであることを理解しています。それは、常に3です。
AWSドキュメント: メッセージの最大数を返すためにMaxNumberOfMessages。アマゾンSQSは(ただし、より少ないメッセージが返されるかもしれない)この値よりも多くのメッセージを返すことはありません。有効な値:1〜10デフォルト:1タイプ:整数必須:いいえ
ショートポーリングを使用して消費したメッセージ
あなたは短いポーリングを使用して、キューからのメッセージ、アマゾンSQSサンプル(重み付けランダム分布に基づいて)そのサーバーのサブセットのみそれらのサーバーからのリターンメッセージを消費する場合。このように、特定のReceiveMessageリクエストは、すべてのメッセージが返されない場合があります。あなたがキューに1,000未満のメッセージを持っている場合は、後続の要求は、あなたのメッセージを返します。あなたは、キューから消費し続ける場合は、アマゾンSQSサンプルそのサーバのすべて、あなたはあなたのメッセージのすべてを受信します。
私たちが使用してJavaで2つのクライアントをテストしているので、両方の古いAWSは、SDKと同じ結果と新規の方。常に唯一の3件のメッセージがバックします。
あなたがAWSラムダとしてそれを実行興味深いことに代わりに、外部アプリケーションを実行する(私の強大なデスクトップ上の)場合は、10件のメッセージを取得します。このラムダ試験は同僚ではJavaScriptを使用して行きました。
なぜ我々は唯一のこれまでの要求あたり3メッセージを取得しないと、一見ラムダの中にあなたが10を得ることができます疑問が残るので。
そこを考える)=リクエストあたりのコストは、アマゾンの利益に基づいて重み付けされたランダムな分布です)
SQS試験方法:
public void SQStart()
{
AwsBasicCredentials awsCreds = AwsBasicCredentials.create("accessKeyID", "secretKeyID");
AwsCredentialsProvider creds = StaticCredentialsProvider.create(awsCreds);
SqsClient sqs = SqsClient.builder().credentialsProvider(creds).region(Region.EU_WEST_1).build();
GetQueueUrlRequest getQueueRequest = GetQueueUrlRequest.builder()
.queueName(QUEUE_NAME)
.build();
String queueUrl = sqs.getQueueUrl(getQueueRequest).queueUrl();
for (int x =1; x < 100; x++) {
ReceiveMessageRequest receiveMessageRequest = ReceiveMessageRequest.builder()
.queueUrl(queueUrl)
.maxNumberOfMessages(10)
.build();
List<Message> messages = sqs.receiveMessage(receiveMessageRequest).messages();
if (messages.size() > 3 ) {
System.out.println("YEY More than 3 Messages: "+ messages.size());
}
}
}
pom.xml:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>groupId</groupId>
<artifactId>SQSTest</artifactId>
<version>1.0-SNAPSHOT</version>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>8</source>
<target>8</target>
</configuration>
</plugin>
</plugins>
</build>
<dependencyManagement>
<dependencies>
<dependency>
<groupId>software.amazon.awssdk</groupId>
<artifactId>bom</artifactId>
<version>2.10.62</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>software.amazon.awssdk</groupId>
<artifactId>sqs</artifactId>
</dependency>
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.5.9</version>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpcore</artifactId>
<version>4.4.10</version>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>commons-logging</groupId>
<artifactId>commons-logging</artifactId>
<version>1.2</version>
</dependency>
<dependency>
<groupId>com.amazonaws</groupId>
<artifactId>aws-java-sdk-s3</artifactId>
<version>1.11.720</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-simple</artifactId>
<version>1.6.1</version>
</dependency>
</dependencies>
</project>
そこを考える)=リクエストあたりのコストは、アマゾンの利益に基づいて重み付けされたランダムな分布です)
それはここにあなたの目標はSQSに少ないリクエストを送信している可能かどうか、または使用可能なメッセージの最大量を送達するためのSQSを強制することで、コストを削減することであることは明らかです。
あなたはあなたの質問で述べてきたように、SQSは、使用可能なメッセージの最大量を提供する義務を負いません。しかし、私はあなたがすでにそれを認識していないだと仮定すると、についてお知らせしたい何かがあります。
ロングポーリング
開発者ガイド Amazonのシンプルなキューサービス状態の:
キューからメッセージを消費するプロセスは、あなたが短いか長いポーリングを使用するかどうかによって異なります。デフォルトでは、アマゾンSQSは使用しています短いポーリングを任意のメッセージが応答のために利用可能であるかどうかを判断する(重み付きランダム分布に基づいて)そのサーバのサブセットだけを照会します、。あなたは使用することができ、長いポーリングを彼らがキューに到着するとすぐにメッセージを受信するために、あなたの消費者を可能にしながら、あなたのコストを削減します。
あなたはSQSに送信されたメッセージは、すべて別々のサーバに保存されている可能性があります。あなたのキューを使用するように設定されている場合、ドキュメントの状態としては、サーバのサブセットだけを照会することができる短いポーリングを。私の推測では、あなたが呼び出すときに不運だったことであるreceiveMessage
だけ3
たびに戻しました。
私たちはの利点を見れば長いポーリング同じドキュメントページ上の、それは述べて:
ロングポーリングは、次のような利点があります。
メッセージは、応答を送信する前にキューで利用可能になるまで、アマゾンSQSを待機させることで、空の応答を排除します。接続がタイムアウトしない限り、ReceiveMessage要求に対する応答は、最大ReceiveMessageアクションで指定されたメッセージの最大数を、使用可能なメッセージの少なくとも一つが含まれています。
すべてではなく、の-アマゾンSQSサーバのサブセットを照会することにより、誤った空の応答を排除します。
第二弾が、ここで非常に重要です。あなたが空の回答を見ていないにもかかわらず、照会されていないサーバーに保存されているより多くのメッセージが存在してもよいです。あなたが長いポーリングを有効にする場合は、うまくいけば、合計で3台の以上のサーバーがありますと仮定すると、返されたメッセージの量の増加が表示されるはずです。
したがって、私の提案は、あなたのキューに長いポーリングを有効にすることです。これを行うために、参照設定アップロングポーリングページを。
DevilCodeが彼に述べたようにコメント以下、彼はFIFOキューの代わりに、標準キューを使用して、その上に長いポーリングを有効にすることによって、彼の問題を解決することができました。